Chỉ tốn 294.000 USD để đào tạo

Công ty phát triển trí tuệ nhân tạo Trung Quốc DeepSeek cho biết đã chi ra chỉ 294.000 USD để huấn luyện mô hình R1, thấp hơn rất nhiều so với mức chi khổng lồ mà các đối thủ Mỹ từng báo cáo.

Thông tin này được công bố trong một bài báo đăng trên tạp chí học thuật Nature, làm dấy lên cuộc tranh luận mới về vị thế của Bắc Kinh trong cuộc đua AI toàn cầu.

Đây cũng là bản cập nhật hiếm hoi từ DeepSeek, công ty có trụ sở tại Hàng Châu, đồng thời là ước tính đầu tiên về chi phí huấn luyện mô hình R1.

Bài báo trên Nature, với ông Liang là đồng tác giả, cho biết mô hình R1, tập trung vào năng lực suy luận, chỉ tốn 294.000 USD để huấn luyện và sử dụng 512 chip Nvidia H800. Phiên bản công bố hồi tháng 1 của bài viết này không tiết lộ thông tin trên.

Trong khi đó, năm 2023, CEO Sam Altman của OpenAI (Mỹ) từng khẳng định việc huấn luyện các mô hình nền tảng tốn kém “cao hơn nhiều so với 100 triệu USD”, dù công ty này chưa bao giờ công khai số liệu chi tiết.

Chi phí huấn luyện các mô hình ngôn ngữ lớn (nền tảng cho chatbot AI) thường bao gồm việc vận hành cụm chip hiệu năng cao trong nhiều tuần hoặc nhiều tháng để xử lý khối lượng khổng lồ văn bản và mã nguồn.

Hồi tháng 1, khi công ty này giới thiệu những hệ thống AI “chi phí thấp”, các nhà đầu tư toàn cầu đã đồng loạt bán tháo cổ phiếu công nghệ, lo ngại những mô hình mới có thể làm lung lay vị thế thống trị của các tên tuổi lớn, trong đó có Nvidia.

Từ đó đến nay, DeepSeek cùng nhà sáng lập Liang Wenfeng hầu như không còn xuất hiện trước công chúng, ngoại trừ việc thỉnh thoảng tung ra một số bản cập nhật sản phẩm.

Tuy nhiên, một số tuyên bố của DeepSeek về chi phí phát triển cũng như công nghệ sử dụng đã bị các công ty và quan chức Mỹ đặt nghi vấn.

Chip H800 được Nvidia thiết kế riêng cho thị trường Trung Quốc, sau khi Mỹ cấm xuất khẩu các chip AI mạnh hơn như H100 và A100 sang nước này vào tháng 10/2022.

Các quan chức Mỹ nói với Reuters hồi tháng 6 rằng DeepSeek có thể đã tiếp cận được “một lượng lớn” chip H100, dù lệnh kiểm soát xuất khẩu đã được ban hành. Tuy nhiên, Nvidia khi đó khẳng định DeepSeek chỉ dùng chip H800 mua hợp pháp, chứ không phải H100.

Trong phần tài liệu bổ sung kèm theo bài báo trên Nature, DeepSeek lần đầu tiên thừa nhận có sở hữu chip A100 và đã dùng chúng trong giai đoạn chuẩn bị phát triển.

“Trong nghiên cứu DeepSeek-R1, chúng tôi sử dụng GPU A100 để chuẩn bị cho các thí nghiệm với một mô hình nhỏ hơn”, các nhà nghiên cứu viết. Sau giai đoạn này, R1 được huấn luyện tổng cộng 80 giờ trên cụm 512 chip H800, họ bổ sung.

Tranh cãi về “chưng cất mô hình”

DeepSeek cũng lần đầu tiên phản hồi, dù gián tiếp, trước cáo buộc từ một cố vấn cấp cao của Nhà Trắng và một số chuyên gia AI Mỹ hồi tháng 1 rằng hãng đã cố tình “chưng cất” mô hình của OpenAI thành mô hình riêng.

“Chưng cất mô hình” là kỹ thuật cho phép một hệ thống AI học từ hệ thống khác, nhờ đó mô hình mới kế thừa thành quả từ thời gian và tài nguyên tính toán mà mô hình trước đã sử dụng, nhưng với chi phí thấp hơn nhiều.

DeepSeek luôn bảo vệ cách tiếp cận này, cho rằng nó giúp cải thiện hiệu năng mô hình, đồng thời giảm mạnh chi phí, mở rộng khả năng tiếp cận công nghệ AI cho nhiều đối tượng hơn.

Hồi tháng 1, công ty cũng thừa nhận đã sử dụng mô hình AI Llama mã nguồn mở của Meta để tinh chỉnh cho một số phiên bản mô hình riêng.

Trong bài báo trên Nature, DeepSeek cho biết dữ liệu huấn luyện cho mô hình V3 của họ bao gồm các trang web thu thập được, trong đó có “một số lượng lớn câu trả lời do mô hình OpenAI tạo ra”. Điều này có thể khiến mô hình cơ sở học gián tiếp từ những mô hình mạnh khác. Tuy nhiên, DeepSeek khẳng định đây là “ngẫu nhiên, không phải cố ý”.