Multi Instance GPU là gì?

Multi Instance GPU là một thuật ngữ CNTT không phải ai cũng biết đến. Vậy Multi Instance GPU là gì? Lợi ích mang đến như thế nào? Hãy cùng Máy Chủ Việt tìm hiểu các vấn đề này nhé.

MIG – Multi Instance GPU là một tính năng mới được giới thiệu trong các card đồ họa NVIDIA A100 và NVIDIA A30, cho phép một GPU vật lý được chia thành nhiều GPU ảo nhỏ hơn. Mỗi GPU ảo được gọi là một instance và có thể được cấu hình với các tài nguyên riêng biệt như bộ nhớ, băng thông bộ nhớ, số lượng bộ xử lý nhân, và độ phân giải màn hình khác nhau.

MIG cho phép nhiều người dùng và các ứng dụng khác nhau chia sẻ một GPU vật lý duy nhất mà không ảnh hưởng đến hiệu suất của nhau. Với tính năng này, các doanh nghiệp có thể tận dụng tối đa tài nguyên GPU và tăng cường tính linh hoạt trong việc triển khai các ứng dụng máy học, đào tạo mô hình và tính toán khác trong môi trường đám mây.

Đối với MIG, bạn có thể đạt được gấp 7 lần tài nguyên GPU trên một GPU A100. Hơn nữa, MIG cung cấp cho các nhà nghiên cứu và nhà phát triển nhiều tài nguyên và tính linh hoạt hơn bao giờ hết.

MIG còn cung cấp tính linh hoạt để chọn nhiều kích thước thực thể khác nhau. Đồng thời, cho phép cung cấp các GPU instance có kích thước phù hợp cho từng workload. Nhờ vậy sẽ mang lại hiệu quả sử dụng tối ưu và tối đa hóa đầu tư trung tâm dữ liệu.

Không những thế, MIG còn cho phép khối lượng công việc suy luận, đào tạo và tính toán hiệu năng cao (HPC) chạy cùng lúc trên một GPU mà có độ trễ và thông lượng xác định.

Không có MIG, các công việc khác nhau chạy trên cùng một GPU, chẳng hạn như các yêu cầu suy luận AI khác nhau, cạnh tranh cùng một tài nguyên chẳng hạn như băng thông bộ nhớ. Một tác vụ tiêu tốn băng thông bộ nhớ lớn hơn khiến các tác vụ khác chết đói, dẫn đến một số tác vụ bị trễ so với mục tiêu. Với MIG, các công việc chạy đồng thời trên các thực thể khác nhau, mỗi thực thể có tài nguyên chuyên biệt về xử lý, bộ nhớ và băng thông bộ nhớ, dẫn đến hiệu suất có thể định đoán được với chất lượng dịch vụ và mức sử dụng GPU tối đa.

GPU NVIDIA A100 có thể được phân vùng thành các MIG instance có kích thước khác nhau. Ví dụ: quản trị viên có thể tạo hai instance với bộ nhớ 20 gigabyte (GB)/instance hoặc ba instance với 10 GB hoặc bảy instance với 5 GB. Hoặc trộn lẫn nhiều kích cỡ. Vì vậy, Sysadmin có thể cung cấp GPU có kích thước phù hợp cho người dùng cho các loại khối lượng công việc khác nhau.

Các MIG instance cũng có thể được cấu hình lại một cách linh hoạt, cho phép quản trị viên thay đổi tài nguyên GPU để đáp ứng nhu cầu thay đổi của người dùng và doanh nghiệp. Ví dụ, bảy trường hợp MIG có thể được sử dụng vào ban ngày để suy luận thông lượng thấp và được cấu hình lại thành một trường hợp MIG lớn vào ban đêm để đào tạo học tập sâu.

Mỗi phiên bản MIG có một bộ tài nguyên phần cứng chuyên dụng để tính toán, bộ nhớ và bộ đệm, cung cấp chất lượng dịch vụ (QoS) được đảm bảo và cách ly lỗi cho khối lượng công việc. Điều đó có nghĩa là lỗi trong một ứng dụng chạy trên một cá thể không ảnh hưởng đến các ứng dụng chạy trên các cá thể khác. Và các trường hợp khác nhau có thể chạy các loại khối lượng công việc khác nhau Phát triển mô hình tương tác, đào tạo học sâu, suy luận AI hoặc các ứng dụng HPC. Do các cá thể chạy song song, nên các khối lượng công việc cũng chạy song song với nhau nhưng tách biệt và tách biệt trên cùng một GPU A100 vật lý.

MIG rất phù hợp với khối lượng công việc như phát triển mô hình AI và suy luận độ trễ thấp. Các khối lượng công việc này có thể tận dụng tối đa các tính năng của A100 và phù hợp với bộ nhớ được phân bổ của từng trường hợp.