Hôm nay, NVIDIA đã công bố 4 dịch vụ microservices mới của NVIDIA NIM cho phép các nhà phát triển dễ dàng hơn trong việc xây dựng và triển khai các ứng dụng AI tạo sinh hiệu suất cao phù hợp với ngôn ngữ và văn hóa của Nhật Bản và Đài Loan.

Các microservices mới của NVIDIA NIM hỗ trợ các mô hình cộng đồng phổ biến được điều chỉnh để đáp ứng nhu cầu khu vực, cải thiện tương tác người dùng thông qua sự hiểu biết chính xác và phản hồi cải thiện dựa trên ngôn ngữ địa phương và di sản văn hóa của Nhật Bản và Đài Loan.

Điển hình như Llama-3-Swallow-70B được huấn luyện trên dữ liệu tiếng Nhật, và Llama-3-Taiwan-70B được huấn luyện trên dữ liệu tiếng Quan thoại, là các mô hình ngôn ngữ khu vực cung cấp sự hiểu biết sâu sắc hơn về luật pháp, quy định và các phong tục khác của địa phương. Hai dịch vụ microservices mới này có thể cung cấp thông lượng cao hơn gấp 5 lần. Điều này giúp giảm tổng chi phí vận hành các mô hình trong sản xuất và mang lại trải nghiệm người dùng tốt hơn bằng cách giảm độ trễ.

Hay mô hình RakutenAI 7B, được xây dựng trên Mistral-7B, đã được huấn luyện trên các tập dữ liệu tiếng Anh và tiếng Nhật, và hiện có sẵn dưới dạng hai dịch vụ NIM microservices khác nhau cho Chat và Instruct. Những mô hình này đã đạt điểm cao nhất trong số các mô hình ngôn ngữ lớn tiếng Nhật mở, đứng đầu bảng xếp hạng điểm trung bình trong đánh giá LM Evaluation Harness được thực hiện từ tháng 1 đến tháng 3/2024.

Ngoài ra, 4 dịch vụ NIM mới cho phép các doanh nghiệp, cơ quan chính phủ và các trường đại học lưu trữ LLM bản địa trong môi trường của riêng họ, cho phép các nhà phát triển xây dựng các trợ lý, chatbot và AI phức tạp.

 

NVIDIA NIM cho kết quả AI tạo sinh nhanh hơn, chính xác hơn

Các dịch vụ microservices của NIM đẩy nhanh triển khai, nâng cao hiệu suất tổng thể và cung cấp bảo mật cần thiết cho các tổ chức trong các ngành công nghiệp toàn cầu, bao gồm chăm sóc sức khỏe, tài chính, sản xuất, giáo dục và pháp lý. Như Viện Công nghệ Tokyo đã điều chỉnh Llama-3-Swallow 70B bằng dữ liệu ngôn ngữ Nhật Bản. Hay như một công ty AI của Nhật Bản, Preferred Networks, sử dụng mô hình Llama3-Preferred-MedSwallow-70B để phát triển một mô hình chăm sóc sức khỏe, được huấn luyện trên tập hợp dữ liệu y tế Nhật Bản độc đáo, đạt điểm cao nhất trong kỳ thi Quốc gia Nhật Bản cho các bác sĩ.

“LLM không phải là công cụ cơ học mang lại cùng một lợi ích cho mọi người. Chúng là công cụ trí tuệ tương tác với văn hóa và sự sáng tạo của con người. Ảnh hưởng là tương hỗ, không chỉ là các mô hình bị ảnh hưởng bởi dữ liệu chúng ta huấn luyện, mà cả văn hóa của chúng ta và dữ liệu chúng ta tạo ra cũng sẽ bị ảnh hưởng bởi LLMs”, Giáo sư Rio Yokota, tại Trung tâm Thông tin Khoa học Toàn cầu và Tính toán tại Viện Công nghệ Tokyo cho biết. “Do đó, việc phát triển các mô hình AI chủ quyền tuân thủ các chuẩn mực văn hóa của chúng ta là vô cùng quan trọng. Sự có sẵn của Llama-3-Swallow dưới dạng một dịch vụ microservice của NVIDIA NIM sẽ cho phép các nhà phát triển dễ dàng truy cập và triển khai mô hình này cho các ứng dụng tiếng Nhật trong nhiều ngành công nghiệp.”

Trong khi đó, bệnh viện Chang Gung Memorial (CGMH), một trong những bệnh viện hàng đầu ở Đài Loan, đang xây dựng một dịch vụ AI suy luận tùy chỉnh (AIIS) để tập trung tất cả các ứng dụng LLM trong hệ thống bệnh viện. Các nhà phát triển ứng dụng đã sử dụng dịch vụ microservices Llama 3-Taiwan 70B của NVIDIA NIM để phát triển dịch vụ AIIS giúp cải thiện hiệu quả của nhân viên y tế tuyến đầu với ngôn ngữ y tế tinh tế hơn mà bệnh nhân có thể hiểu được.

“Bằng cách cung cấp hướng dẫn tức thì, phù hợp với ngữ cảnh, các ứng dụng AI được xây dựng với các LLM ngôn ngữ địa phương hợp lý hóa quy trình làm việc và đóng vai trò như một công cụ học tập liên tục để hỗ trợ phát triển nhân viên và nâng cao chất lượng chăm sóc bệnh nhân”, bác sĩ Changfu Kuo, giám đốc Trung tâm Trí tuệ Nhân tạo trong Y học tại CGMH, chi nhánh Linko cho biết. “NVIDIA NIM đang đơn giản hóa việc phát triển các ứng dụng này, cho phép dễ dàng truy cập và triển khai các mô hình được huấn luyện trên ngôn ngữ khu vực với kỹ thuật chuyên môn tối thiểu.”

Công ty Pegatron, nhà sản xuất thiết bị điện tử tại Đài Loan, cho biết cũng sẽ áp dụng dịch vụ NIM Llama 3-Taiwan 70B cho các ứng dụng hướng nội và hướng ngoại. Công ty sẽ tích hợp dịch vụ này vào hệ thống PEGAAi Agentic AI của mình để tự động hóa các quy trình, tăng cường hiệu quả trong sản xuất và vận hành.

Llama-3-Taiwan 70B NIM cũng đang được sử dụng bởi nhà sản xuất hóa dầu toàn cầu Chang Chun Group, công ty bảng mạch in hàng đầu thế giới Unimicron, công ty truyền thông công nghệ TechOrange, công ty dịch vụ hợp đồng trực tuyến LegalSign.ai và công ty khởi nghiệp AI tạo sinh APMIC. Những công ty này cũng đang hợp tác phát triển mô hình mở.

Tạo mô hình doanh nghiệp tùy chỉnh với NVIDIA AI Foundry

NVIDIA AI Foundry là một nền tảng và dịch vụ bao gồm các mô hình cơ sở phổ biến, NVIDIA NeMo để điều chỉnh, và dung lượng chuyên dụng trên NVIDIA DGX Cloud để cung cấp cho các nhà phát triển một giải pháp toàn diện cho việc tạo ra một mô hình cơ sở tùy chỉnh được đóng gói dưới dạng một dịch vụ microservice của NIM. Các nhà phát triển sử dụng NVIDIA AI Foundry có quyền truy cập vào nền tảng phần mềm NVIDIA AI Enterprise, cung cấp bảo mật, ổn định và hỗ trợ cho các triển khai sản xuất.

NVIDIA AI Foundry cung cấp cho các nhà phát triển các công cụ cần thiết để nhanh chóng và dễ dàng xây dựng và triển khai các dịch vụ microservice NIM ngôn ngữ khu vực tùy chỉnh của riêng họ để cung cấp năng lượng cho các ứng dụng AI, đảm bảo kết quả phù hợp về văn hóa và ngôn ngữ cho người dùng của họ.

Tùng Nguyễn