Meta bắt đầu thử nghiệm chip đào tạo AI nội bộ đầu tiên

Ngân sách đầu tư dự kiến 119 tỷ USD

Công ty truyền thông xã hội lớn nhất thế giới Meta đã bắt đầu triển khai thử nghiệm quy mô nhỏ với con chip này và có kế hoạch tăng cường sản xuất để sử dụng rộng rãi nếu cuộc thử nghiệm thành công.

Việc thúc đẩy phát triển chip nội bộ là một phần trong kế hoạch dài hạn của Meta nhằm giảm chi phí cơ sở hạ tầng khổng lồ, khi công ty đang đặt cược lớn vào các công cụ AI để thúc đẩy tăng trưởng.

Meta, công ty cũng sở hữu Instagram và WhatsApp, dự báo tổng chi phí năm 2025 sẽ dao động từ 114 tỷ USD đến 119 tỷ USD, bao gồm khoản chi tiêu vốn lên tới 65 tỷ USD, phần lớn được thúc đẩy bởi đầu tư vào cơ sở hạ tầng AI. 

Một nguồn tin cho biết, chip đào tạo mới của Meta là một bộ tăng tốc chuyên dụng, nghĩa là nó được thiết kế chỉ để xử lý các tác vụ đặc thù của AI. Điều này giúp nó có thể tiết kiệm năng lượng hơn so với các đơn vị xử lý đồ họa tích hợp (GPU) thường được sử dụng cho các khối lượng công việc AI.

Theo nguồn tin trên, Meta đang hợp tác với nhà sản xuất chip theo hợp đồng lớn nhất thế giới TSMC để sản xuất con chip này.

Việc triển khai thử nghiệm bắt đầu sau khi Meta hoàn thành “tape-out” đầu tiên của con chip, một dấu mốc quan trọng trong công việc phát triển chip silicon, bao gồm việc gửi thiết kế ban đầu qua một nhà máy sản xuất chip. Một quy trình tape-out điển hình tiêu tốn hàng chục triệu USD và mất khoảng 3 đến 6 tháng để hoàn thành, không có gì đảm bảo rằng cuộc thử nghiệm sẽ thành công. Nếu thất bại, Meta sẽ cần chẩn đoán vấn đề và lặp lại bước tape-out.

Con chip này là sản phẩm mới nhất trong dòng Meta Training and Inference Accelerator (MTIA) của công ty. Chương trình này đã có khởi đầu không ổn định trong nhiều năm và từng hủy bỏ một con chip ở giai đoạn phát triển tương tự. 

Tuy nhiên, năm ngoái Meta đã bắt đầu sử dụng một chip MTIA để thực hiện suy luận (inference), tức là quá trình vận hành một hệ thống AI khi người dùng tương tác với nó, cho các hệ thống đề xuất quyết định nội dung nào xuất hiện trên bảng tin của Facebook và Instagram.

Meta dự kiến sử dụng chip nội bộ đào tạo vào năm 2026

Các giám đốc điều hành Meta cho biết họ muốn bắt đầu sử dụng chip nội bộ vào năm 2026 cho việc đào tạo, tức là quá trình tính toán nặng nề để cung cấp cho hệ thống AI lượng dữ liệu khổng lồ nhằm “dạy” nó cách hoạt động.

Cũng như với chip suy luận, mục tiêu của chip đào tạo là bắt đầu với các hệ thống đề xuất và sau đó sử dụng nó cho các sản phẩm AI tạo sinh như chatbot Meta AI, các giám đốc điều hành cho biết. “Chúng tôi đang nghiên cứu cách thực hiện đào tạo cho các hệ thống đề xuất, rồi sau đó là cách chúng tôi nghĩ về đào tạo và suy luận cho AI tạo sinh”, Giám đốc Sản phẩm của Meta, Chris Cox, phát biểu tại hội nghị công nghệ, truyền thông và viễn thông của Morgan Stanley tuần trước.

Ông Cox mô tả nỗ lực phát triển chip của Meta là “một tình huống đi bộ, bò, rồi chạy” cho đến nay, nhưng cho biết các giám đốc điều hành coi chip suy luận thế hệ đầu tiên cho các hệ thống đề xuất là “một thành công lớn”.

Trước đây, Meta đã hủy bỏ một chip suy luận tùy chỉnh nội bộ sau khi nó thất bại trong một đợt triển khai thử nghiệm quy mô nhỏ tương tự như đợt hiện tại cho chip đào tạo, thay vào đó quay lại đặt hàng GPU trị giá hàng tỷ USD từ Nvidia vào năm 2022.

Công ty truyền thông xã hội này vẫn là một trong những khách hàng lớn nhất của Nvidia kể từ đó, tích lũy một kho GPU để đào tạo các mô hình của mình, bao gồm hệ thống đề xuất và quảng cáo cũng như dòng mô hình nền tảng Llama. Các đơn vị này cũng thực hiện suy luận cho hơn 3 tỷ người dùng ứng dụng của họ mỗi ngày.

Giá trị của những GPU đó đã bị đặt dấu hỏi trong năm nay khi các nhà nghiên cứu AI ngày càng nghi ngờ về việc liệu có thể đạt được thêm bao nhiêu tiến bộ bằng cách tiếp tục “mở rộng quy mô” các mô hình ngôn ngữ lớn bằng cách bổ sung thêm dữ liệu và sức mạnh tính toán.

Những nghi ngờ này được củng cố bởi sự ra mắt vào cuối tháng 1 của các mô hình chi phí thấp mới từ công ty khởi nghiệp Trung Quốc DeepSeek, vốn tối ưu hóa hiệu quả tính toán bằng cách phụ thuộc nhiều hơn vào suy luận so với hầu hết các mô hình hiện hành.

Trong một đợt bán tháo toàn cầu các cổ phiếu AI do DeepSeek gây ra, cổ phiếu Nvidia từng mất tới 1/5 giá trị tại một thời điểm. Sau đó, chúng đã phục hồi phần lớn mức giảm, với các nhà đầu tư đặt cược rằng chip của công ty sẽ vẫn là tiêu chuẩn ngành cho đào tạo và suy luận, dù chúng đã giảm trở lại do những lo ngại thương mại rộng lớn hơn.