Theo Dylan Patel, nhà phân tích trưởng tại hãng phân tích bán dẫn SemiAnalysis, chi phí vận hành ChatGPT cao như vậy là vì hạ tầng đắt đỏ. ChatGPT cần năng lực điện toán khổng lồ để tính toán phản hồi dựa trên lời nhắc (prompt) của người dùng. Patel ước tính chi phí dựa trên các máy chủ đắt đỏ cần để vận hành chatbot.
Trong cuộc phỏng vấn với BI, chuyên gia cho rằng chi phí hiện nay thậm chí còn cao hơn do ước tính ban đầu của ông dựa trên mô hình GPT-3 của OpenAI. Mô hình mới nhất GPT-4 sẽ tốn kém hơn.
Nếu như đào tạo mô hình ngôn ngữ lớn (LLM) của ChatGPT đã tiêu tốn hàng chục triệu USD, chi phí vận hành hay chi phí suy luận còn lớn hơn nhiều. Nhiều năm nay, các công ty sử dụng mô hình ngôn ngữ của OpenAI đã phải trả số tiền lớn. Chẳng hạn, Nick Walton – CEO startup Latitude – tiết lộ chi phí vận hành mô hình cùng với máy chủ Amazon Web Services mỗi tháng khoảng 200.000 USD vào năm 2021. Vì vậy, anh đã chuyển sang nhà cung cấp phần mềm ngôn ngữ khác để giảm một nửa chi phí.
Để giảm thiểu chi phí cần thiết vận hành mô hình AI tạo sinh, Microsoft đang phát triển chip AI có tên Athena. Theo The Information, dự án bắt đầu từ năm 2019, vài năm sau khi công ty ký thỏa thuận 1 tỷ USD với OpenAI để startup chỉ sử dụng máy chủ đám mây Azure.
Hai nguyên nhân thúc đẩy Microsoft phát triển chip là: họ nhận ra bị tụt hậu so với Google và Amazon trong lĩnh vực chip; họ tìm kiếm phương án rẻ hơn chip Nvidia. Hơn 300 nhân viên Microsoft đang làm dự án chip và có thể sử dụng nội bộ con chip sớm nhất trong năm sau.
(Theo BI)
