Được xây dựng trên nền tảng NVIDIA CUDA®, danh mục các dịch vụ vi mô gốc đám mây sẽ bao gồm các dịch vụ vi mô NVIDIA NIM để suy luận tối ưu hóa trên hơn hai chục mô hình AI phổ biến từ NVIDIA và hệ sinh thái đối tác của NVIDIA.

Giờ đây, các bộ công cụ, thư viện và công cụ phát triển phần mềm được tăng tốc của NVIDIA hiện có thể được truy cập dưới dạng vi dịch vụ NVIDIA CUDA-X™ dành cho thế hệ tăng cường truy xuất (RAG), lan can, xử lý dữ liệu, HPC, v.v. NVIDIA cũng đã công bố riêng hơn hai mươi dịch vụ chăm sóc sức khỏe NIM và CUDA-X.

Việc tuyển chọn các dịch vụ vi mô được tuyển chọn sẽ bổ sung thêm một lớp mới cho nền tảng điện toán toàn bộ của NVIDIA. Lớp này kết nối hệ sinh thái AI của các nhà phát triển mô hình, nhà cung cấp nền tảng và doanh nghiệp với một đường dẫn được tiêu chuẩn hóa để chạy các mô hình AI tùy chỉnh được tối ưu hóa cho cơ sở CUDA được cài đặt của NVIDIA gồm hàng trăm triệu GPU trên các đám mây, trung tâm dữ liệu, máy trạm và PC.

Trong số những người đầu tiên truy cập vào các vi dịch vụ AI tạo sinh mới của NVIDIA có sẵn trong NVIDIA AI Enterprise 5.0 là các nhà cung cấp nền tảng ứng dụng, dữ liệu và an ninh mạng hàng đầu, bao gồm  Adobe, Cadence, CrowdStrike, Getty Images, SAP, ServiceNow, và Shutterstock.

“Các nền tảng doanh nghiệp lâu đời đang nắm giữ một mỏ vàng dữ liệu có thể được chuyển đổi thành các máy điều khiển AI tạo sinh hợp”. Jensen Huang, người sáng lập và Giám đốc điều hành của NVIDIA cho biết: “Được tạo ra từ hệ sinh thái đối tác của chúng tôi, các dịch vụ vi mô AI được đóng gói này là nền tảng để các doanh nghiệp trong mọi ngành trở thành công ty AI.”

 

Tốc độ triển khai vi dịch vụ suy luận NIM chỉ trong vài tuần đến vài phút

Các dịch vụ vi mô NVIDIA NIM cung cấp các bộ chứa dựng sẵn được hỗ trợ bởi phần mềm suy luận NVIDIA — bao gồm Triton Inference Server™ và TensorRT™-LLM — cho phép các nhà phát triển giảm thời gian triển khai từ vài tuần xuống còn vài phút.

NVIDIA cung cấp API tiêu chuẩn ngành cho các lĩnh vực như ngôn ngữ, giọng nói và khám phá ma túy để cho phép các nhà phát triển nhanh chóng xây dựng các ứng dụng AI bằng cách sử dụng dữ liệu độc quyền được lưu trữ an toàn trong cơ sở hạ tầng của riêng họ. Các ứng dụng này có thể mở rộng quy mô theo yêu cầu, mang lại sự linh hoạt và hiệu suất để chạy AI tạo sinh trong sản xuất trên nền tảng điện toán được tăng tốc bởi NVIDIA.

Các dịch vụ vi mô NIM cung cấp vùng chứa AI sản xuất nhanh nhất và hiệu suất cao nhất để triển khai các mô hình từ NVIDIA, A121, Adept, Cohere, Getty Images và Shutterstock cũng như các mô hình mở từ Google, Hugging Face, Meta, Microsoft, Mistral AI và Stability AI.

ServiceNow cho biết, họ đang sử dụng NIM để phát triển và triển khai các máy điều khiển phụ theo miền cụ thể mới cũng như các ứng dụng AI tạo sinh khác nhanh hơn và tiết kiệm chi phí hơn.

Khách hàng sẽ có thể truy cập các dịch vụ vi mô NIM từ Amazon SageMaker, Google Kubernetes Engine và Microsoft Azure AI, đồng thời tích hợp với các khung AI phổ biến như  Deepset, LangChain and LlamaIndex.

Dịch vụ vi mô CUDA-X cho RAG, Xử lý dữ liệu, Guardrail, HPC

Các dịch vụ vi mô CUDA-X cung cấp các khối xây dựng toàn diện để chuẩn bị, tùy chỉnh và đào tạo dữ liệu nhằm tăng tốc độ phát triển AI sản xuất trong các ngành.

Để đẩy nhanh việc áp dụng AI, các doanh nghiệp có thể sử dụng các vi dịch vụ CUDAX bao gồm NVIDIA Riva cho AI dịch thuật và giọng nói có thể tùy chỉnh, NVIDIA cuOpt™ để tối ưu hóa định tuyến cũng như NVIDIA Earth-2 để mô phỏng thời tiết và khí hậu có độ phân giải cao.

Các dịch vụ vi mô NeMo Retriever™  cho phép các nhà phát triển liên kết các ứng dụng AI với dữ liệu kinh doanh của họ — bao gồm văn bản, hình ảnh và hình ảnh trực quan hóa như biểu đồ thanh, biểu đồ đường và biểu đồ hình tròn — để tạo ra các phản hồi có độ chính xác cao, phù hợp với ngữ cảnh. Với các khả năng RAG này, doanh nghiệp có thể cung cấp nhiều dữ liệu hơn cho các phi công phụ, chatbot và các công cụ năng suất AI tạo sinh để nâng cao độ chính xác và hiểu biết sâu sắc.

Các vi dịch vụ NVIDIA NeMo™ bổ sung sắp ra mắt để phát triển mô hình tùy chỉnh. Chúng bao gồm NVIDIA NeMo Curator để xây dựng các bộ dữ liệu sạch cho mục đích đào tạo và truy xuất, NVIDIA NeMo Tùy chỉnh để tinh chỉnh LLM với dữ liệu theo miền cụ thể, NVIDIA NeMo Evaluator để phân tích hiệu suất mô hình AI, cũng như NVIDIA NeMo Guardrails cho LLM.

Hệ sinh thái tăng cường nền tảng doanh nghiệp với các vi dịch vụ AI tạo sinh

Ngoài các nhà cung cấp ứng dụng hàng đầu, các nhà cung cấp dữ liệu, cơ sở hạ tầng và nền tảng điện toán trong hệ sinh thái NVIDIA đang hợp tác với các dịch vụ vi mô của NVIDIA để mang AI tạo sinh đến cho các doanh nghiệp.

Các nhà cung cấp nền tảng dữ liệu hàng đầu bao gồm Box, Cloudera, Cohesity, Datastax, Dropbox và NetApp đang hợp tác với các dịch vụ vi mô của NVIDIA để giúp khách hàng tối ưu hóa quy trình RAG và tích hợp dữ liệu độc quyền của họ vào các ứng dụng AI tạo sinh. Snowflake tận dụng NeMo Retriever để khai thác dữ liệu doanh nghiệp nhằm xây dựng các ứng dụng AI.

Các doanh nghiệp có thể triển khai các dịch vụ vi mô NVIDIA đi kèm với NVIDIA AI Enterprise 5.0 trên cơ sở hạ tầng mà họ lựa chọn, chẳng hạn như các đám mây hàng đầu Amazon Web Services (AWS), Google Cloud, Azure và Oracle Cloud Infrastructure.

Các dịch vụ vi mô của NVIDIA cũng được hỗ trợ trên hơn 400 Hệ thống được chứng nhận NVIDIA™, bao gồm các máy chủ và máy trạm của Cisco, Dell Technologies, Hewlett Packard Enterprise (HPE) , HP, Lenovo , Lenovo và Supermicro. Riêng hôm nay, HPE đã công bố tính khả dụng của giải pháp điện toán doanh nghiệp của HPE dành cho AI tạo sinh, với kế hoạch tích hợp các mô hình NIM và NVIDIA AI Foundation Models  vào phần mềm AI của HPE.

Các dịch vụ vi mô của NVIDIA AI Enterprise đang đến với các nền tảng phần mềm cơ sở hạ tầng bao gồm  VMware Private AI Foundation cùng NVIDIA. Red Hat OpenShift hỗ trợ các dịch vụ vi mô NVIDIA NIM để giúp doanh nghiệp dễ dàng tích hợp các khả năng AI tạo sinh vào ứng dụng của họ với các khả năng được tối ưu hóa về bảo mật, tuân thủ và kiểm soát. Canonical đang bổ sung hỗ trợ Charmed Kubernetes cho các dịch vụ vi mô của NVIDIA thông qua NVIDIA AI Enterprise.

Hệ sinh thái của NVIDIA gồm hàng trăm đối tác AI và MLOps, bao gồm Abridge, Anyscale, Dataiku, DataRobot, Glean, H2O.ai, Securiti AI, Scale AI, OctoAI và Weights & Biases,, đang bổ sung hỗ trợ cho các dịch vụ vi mô của NVIDIA thông qua NVIDIA AI Enterprise. 

Apache Lucene, Datastax, Faiss, Kinetica, Milvus, Redis và Weaviate là một trong những nhà cung cấp dịch vụ tìm kiếm vectơ làm việc với các vi dịch vụ NVIDIA NeMo Retriever để tăng cường khả năng RAG đáp ứng cho doanh nghiệp.

Tính khả dụng

Các nhà phát triển có thể thử nghiệm miễn phí các vi dịch vụ của NVIDIA tại ai.nvidia.com. Các doanh nghiệp có thể triển khai các dịch vụ vi mô NIM ở cấp độ sản xuất với NVIDIA AI Enterprise 5.0 chạy trên Hệ thống được NVIDIA chứng nhận và các nền tảng đám mây hàng đầu.

Tùng Nguyễn