Khi các mô hình ngày càng lớn, hiệu năng phần cứng trở thành nút thắt quyết định chi phí vận hành. Các nhà sản xuất chip đua nhau ra mắt bộ tăng tốc mới với băng thông bộ nhớ cao hơn, trong khi nhà vận hành trung tâm dữ liệu phải tính lại bài toán điện và làm mát.
Hiệu năng trên mỗi watt là chìa khóa
Thay vì chỉ chạy đua sức mạnh thô, xu hướng mới tập trung vào hiệu năng trên mỗi watt điện. Kỹ thuật lượng tử hóa và biên dịch tối ưu giúp giảm đáng kể chi phí suy luận, mở đường cho việc triển khai AI ngay tại thiết bị biên.
Với Việt Nam, việc làm chủ khâu tối ưu mô hình được xem là lợi thế thực tế hơn so với việc cạnh tranh ở mảng sản xuất phần cứng đòi hỏi vốn lớn.
