Nhắm mục tiêu vào thị trường suy luận AI độ trễ thấp, NVIDIA (NVDA.US) Groq 3 LPX bắt đầu sản xuất hàng loạt quy mô lớn, lô hệ thống đầu tiên sẽ được triển khai tại NEBIUS (NBIS.US)

Nền tảng tài chính thông minh nhận được tin, Nvidia (NVDA.US) vào thứ Hai đã thông báo rằng hệ thống Groq 3 LPX cấp rack đã bước vào giai đoạn sản xuất hàng loạt, đánh dấu công nghệ suy luận AI độ trễ thấp này chính thức được thương mại hóa sau khi công ty chi khoảng 20 tỷ USD mua lại tài sản liên quan đến Groq vào năm ngoái. Lô hệ thống đầu tiên sẽ được triển khai tại nhà cung cấp dịch vụ điện toán đám mây AI NEBIUS (NBIS.US), dự kiến sẽ đưa vào hoạt động vào cuối năm nay.

Giám đốc cấp cao của Nvidia, Dion Harris, cho biết với truyền thông rằng, Groq 3 LPX sẽ được triển khai cùng với CPU Vera của Nvidia và GPU Rubin trong trung tâm dữ liệu của Nebius.

Việc Groq nhanh chóng bước vào sản xuất hàng loạt lần này phản ánh rằng khi các ứng dụng AI chuyển dần từ đào tạo mô hình sang triển khai thực tế, suy luận AI độ trễ thấp đang trở thành thị trường mới trọng điểm mà Nvidia nhắm tới. Đặc biệt trong các ứng dụng như AI agent và lập trình AI, mô hình cần tạo ra nội dung liên tục với tốc độ nhanh hơn, giảm thời gian chờ đợi của người dùng.

Nvidia đã chi khoảng 20 tỷ USD vào tháng 12 năm ngoái để mua lại tài sản liên quan của công ty khởi nghiệp chip AI Groq, trở thành thương vụ thâu tóm lớn nhất trong lịch sử công ty.

Một đặc điểm nổi bật trong kiến trúc chip Groq là tích hợp 500MB SRAM tốc độ cao ngay bên trong chip, giúp giảm tắc nghẽn truyền dữ liệu do truy cập bộ nhớ truyền thống, từ đó nâng cao tốc độ phản hồi khi mô hình AI thực hiện suy luận.

Khác với GPU chủ lực của Nvidia được sản xuất bởi TSMC (TSM.US), chip Groq do Samsung đảm nhận sản xuất.

Hiện tại Nvidia tích hợp 256 chip Groq 3 vào một rack LPX. Theo dữ liệu kiểm nghiệm được Nvidia trích dẫn từ Artificial Analysis, hệ thống Groq 3 LPX có thể đạt hiệu suất tạo ra khoảng 3400 token mỗi giây.

Đối với AI sinh nội dung, token có thể được xem là đơn vị cơ bản để mô hình xử lý và tạo văn bản. Tốc độ tạo token mỗi giây càng cao, AI có thể phản hồi yêu cầu của người dùng nhanh hơn, đặc biệt quan trọng đối với các ứng dụng nhạy cảm với độ trễ như lập trình AI, AI agent trực tuyến thời gian thực.

Harris cho biết, đối với các doanh nghiệp điện toán đám mây cung cấp dịch vụ suy luận AI, độ trễ càng thấp đồng nghĩa với việc họ có thể cung cấp dịch vụ cao cấp hơn với giá trị lớn hơn cho những khách hàng yêu cầu tốc độ phản hồi cao.

Tuy nhiên, chip Groq không phải để thay thế GPU truyền thống của Nvidia.

GPU vẫn là lõi hạ tầng tính toán AI hiện nay, không chỉ có thể đào tạo mô hình AI mà còn thực hiện nhiệm vụ suy luận, đồng thời sở hữu tính đa dụng cao hơn, thích hợp với nhiều mô hình cũng như kiến trúc công nghệ khác nhau.

Các chip độ trễ thấp như Groq lại tập trung vào một số công đoạn nhất định trong quá trình suy luận AI, đặc biệt là giai đoạn “giải mã” khi mô hình tạo nội dung.

Harris cho biết: “Mục đích không phải là thay thế GPU, mà là chọn bộ xử lý phù hợp nhất về giá thành và hiệu năng cho từng phần tải công việc khác nhau.”

Điều này có nghĩa là Nvidia đang cố gắng xây dựng kiến trúc tính toán AI ngày càng chuyên biệt hóa: CPU Vera và GPU Rubin vẫn đảm nhận các tác vụ AI tổng quát, còn chip Groq tối ưu hóa cho các tác vụ suy luận độ trễ cực thấp.

Khi ngành AI chuyển từ đào tạo mô hình quy mô lớn sang giai đoạn nhu cầu suy luận bùng nổ, cạnh tranh ở thị trường suy luận độ trễ thấp cũng đang nóng lên.

AMD (AMD.US) đầu năm nay công bố tích hợp hệ thống AI cấp rack của mình với chip Cerebras (CBRS.US), cũng tập trung trọng điểm vào suy luận AI độ trễ thấp.

Tầm quan trọng của lĩnh vực này ngày càng tăng khi các ứng dụng như lập trình AI được phổ biến rộng rãi. Báo cáo đề cập, chế độ Ultrafast mới công bố của OpenAI cam kết đạt 750 token mỗi giây, với tính toán nền tảng do Cerebras cung cấp.

So sánh với đó, kết quả kiểm nghiệm của Nvidia cho thấy Groq 3 LPX có thể đạt 3400 token mỗi giây. Tuy nhiên, điều kiện kiểm nghiệm và bối cảnh ứng dụng của các hệ thống khác nhau nên những con số này không thể so sánh hiệu năng một cách trực tiếp.

Đồng thời, Nvidia cũng đang đẩy nhanh tiến độ xuất xưởng hệ thống Vera Rubin, nền tảng này đã bước vào sản xuất từ đầu năm nay.

CEO Nvidia, Jensen Huang, khi ra mắt Vera Rubin và Groq 3 LPX vào tháng 3 năm nay từng dự đoán, từ chip Blackwell hiện tại đến hệ thống Vera Rubin thế hệ mới, doanh thu tích lũy có thể đạt 1 nghìn tỷ USD vào năm 2027.

Ông cũng tiết lộ, trong không gian trung tâm dữ liệu chuyên dụng cho ứng dụng lập trình AI, ông có kế hoạch phân bổ khoảng một phần tư cho chip Groq, phần còn lại sẽ dành cho hệ thống Vera Rubin.

Tỷ lệ phân bổ này càng cho thấy Nvidia coi trọng thị trường suy luận độ trễ thấp. Khi AI agent, lập trình AI và các ứng dụng AI sinh nội dung thời gian thực phát triển nhanh chóng, tốc độ suy luận đang trở thành chỉ số cạnh tranh quan trọng đối với các doanh nghiệp điện toán đám mây và nhà phát triển AI.

Groq 3 LPX chính thức bước vào sản xuất đại trà cũng có nghĩa là Nvidia đang mở rộng từ nhà cung cấp chip AI lấy GPU làm lõi sang kiến trúc tính toán chuyên biệt theo từng loại tải công việc AI khác nhau.

Thị trường sẽ tiếp tục theo dõi kết quả kinh doanh mới nhất của Nvidia. Công ty sẽ công bố báo cáo tài chính vào thứ Tư tuần này, ngoài nhu cầu với Blackwell và Vera Rubin, mảng kinh doanh suy luận AI và tiến trình thương mại hóa Groq cũng có thể trở thành trọng điểm theo dõi mới của các nhà đầu tư.