xAI hiện đang trong quá trình tăng gấp đôi kích thước của siêu máy tính Colossus lên 200.000 GPU NVIDIA Hopper

Jensen Huang đã gọi Elon Musk là "siêu nhân" khi ông mô tả trong một cuộc phỏng vấn gần đây về cách xAI có thể kết hợp các thiết bị của NVIDIA và đưa vào vận hành trong trung tâm dữ liệu của riêng mình chỉ trong 19 ngày. 

Hiện tại, Musk dường như quyết tâm vượt qua các đối thủ cạnh tranh khi tiếp tục chiến lược "shock and awe" (gây sốc và sợ hãi), với kế hoạch tăng gấp đôi quy mô của siêu cụm máy tính (Supercluster) của xAI.

Siêu cụm máy tính Colossus của xAI

Để những ai chưa biết rõ, siêu cụm máy tính Colossus của xAI hiện đang bao gồm 100,000 GPU H100 được làm mát bằng chất lỏng của NVIDIA. Được mệnh danh là siêu máy tính AI lớn nhất thế giới, Colossus hiện đang training dòng mô hình ngôn ngữ lớn (LLM) Grok của xAI.

Trong thông cáo báo chí của mình, NVIDIA tiết lộ rằng xAI đang tăng gấp đôi kích thước của siêu cụm Colossus:

"xAI hiện đang trong quá trình tăng gấp đôi quy mô của Colossus lên tổng cộng 200,000 GPU Hopper của NVIDIA."

Lưu ý rằng xAI và NVIDIA đã đưa Colossus vào hoạt động chỉ trong 122 ngày, trong khi việc vận hành một hệ thống phức tạp như vậy thông thường phải mất "nhiều tháng, nếu không muốn nói là nhiều năm". Hơn nữa, xAI đã có thể bắt đầu huấn luyện mô hình Grok chỉ trong 19 ngày kể từ khi rack GPU H100 đầu tiên được lắp đặt tại nhà máy AI.

xAi đưa Colossus vào hoạt động

NVIDIA còn cho biết:

"Hệ thống đã không gặp bất kỳ sự suy giảm độ trễ ứng dụng nào hoặc mất gói dữ liệu do va chạm lưu lượng trên tất cả ba tầng của mạng. Hệ thống duy trì 95% thông lượng dữ liệu nhờ điều khiển tắc nghẽn Spectrum-X."

Trong cuộc phỏng vấn trước đó, CEO của NVIDIA cũng đã hết lời ca ngợi Elon Musk, thậm chí gọi ông là một "siêu nhân" và "độc nhất" trong sự hiểu biết về kỹ thuật và xây dựng:

"... Xây dựng một nhà máy khổng lồ, làm mát bằng chất lỏng, cấp năng lượng, được phép hoạt động trong thời gian ngắn như vậy... tôi nghĩ điều đó giống như siêu nhân vậy. Vâng, trên thế giới có lẽ chỉ có một người có thể làm điều đó, và đó là Elon, một người độc nhất trong sự hiểu biết về kỹ thuật, xây dựng hệ thống lớn và huy động tài nguyên..."

CEO của NVIDIA cũng đã hết lời ca ngợi Elon Musk, thậm chí gọi ông là một siêu nhân

Morgan Stanley dự đoán NVIDIA sẽ bán khoảng 1,5 triệu GPU Hopper trong quý 4 năm 2024, trước khi giảm xuống còn 1 triệu đơn vị trong quý 1 năm 2025 khi số lượng sản phẩm Blackwell bắt đầu tăng mạnh.