Các bài viết của Vanaxity về chủ đề LLM serving chi phí, do Van Data Team biên soạn.
Suy luận 4-bit NVFP4 trên GPU NVIDIA Blackwell giảm dung lượng bộ nhớ của mô hình khoảng 3,5 lần so với 16-bit và 1,8 lần so với 8-bit, nên một mô hình từng cần hai GPU H100 nay có thể chạy trên một GPU B200. Điều này hạ chi phí mỗi token của AI về mặt cấu trúc, và với các đội marketing và đội vận hành tác nhân, chi phí đó chính là ngân sách. Vì vậy bước đi thực tế là định tuyến đến các nhà cung cấp chuyển phần tiết kiệm này sang khách hàng và tự đo chất lượng ở mức 4-bit trên chính các tác vụ của mình.
