Elon Musk bắt đầu training xAI với 100.000 GPU H100 được tản nhiệt bằng chất lỏng

Elon Musk xuất hiện tại Memphis

xAI hiện đang thuê chip AI của Nvidia từ Oracle nhưng họ đã quyết định xây dựng hệ thống máy chủ của riêng mình và chấm dứt thỏa thuận hiện có với Oracle mà đáng lẽ sẽ kéo dài trong vài năm. Dự án của họ nhằm mục đích xây dựng một hệ thống siêu máy tính của riêng mình và phải vượt trội hơn Oracle, họ đạt được điều này bằng cách sử dụng hàng trăm nghìn GPU H100 hiệu suất cao. Được biết mỗi GPU H100 có giá khoảng 30.000 USD và trong khi GROK 2 đã sử dụng 20.000 GPU thì GROK 3 phải cần gấp 5 lần con số đó để phát triển chatbot AI của mình.

Quyết đinh này có phần gây ngạc nhiên vì sắp tới Nvidia sẽ bán ra GPU H200 thế hệ tiếp theo vào quý 3. GPU H200 được sản xuất hàng loạt trong quý 2, sẽ sử dụng kiến trúc Hopper tiên tiến, được trang bị bộ nhớ tốt hơn, mang lại thời gian phản hồi nhanh hơn tới 45% cho các tác vụ AI tạo sinh. Nối tiếp H200 sẽ là GPU B100 và B200 dựa trên Blackwell sẽ được Nvidia tung ra vào cuối năm 2024.

xAI Gigafactory of Computing

Dự kiến, xAI Gigafactory of Computing sẽ sẵn sàng trước mùa thu năm 2025 nhưng rõ ràng nó đã bắt đầu đi vào hoạt động nhanh hơn so với dự kiến. Theo Elon, mô hình ngôn ngữ tiên tiến này sẽ được training hoàn chỉnh vào cuối năm 2024, và được xem là hệ thống AI nhanh nhất từng được con người tạo ra.