Chi tiết về bộ tăng tốc AI AMD Instinct MI300X & MI300A

AMD Instinct MI300X & MI300A là một trong những máy tăng tốc được mong đợi nhất trong phân khúc AI, sẽ ra mắt vào tháng tới. Có rất nhiều dự đoán xung quanh kiệt tác AI chính thức đầu tiên của AMD và dưới đây, sẽ là bài viết giúp bạn hiểu hơn về dòng sản phẩm mới này.

Tổng quan sản phẩm AI AMD

AMD Instinct MI300X được thiết kế cho khối lượng công việc AI được tăng tốc bằng GPU, trong khi MI300A Xử lý HPC bằng gói APU tiên tiên nhất về mặt kỹ thuật.Vào ngày 6 tháng 12 sắp tới, AMD sẽ tổ chức bài phát biểu quan trọng về “tiến bộ AI”, một trong những chương trình nghị sự chính là ra mắt đủ dòng máy gia tốc, bản thế hệ tiếp theo có tên mã MI300.

Dòng GPU và CPU tăng tốc mới này sẽ là sản phẩm dẫn đầu của phân khúc AI, vốn là ưu tiên chiến lược số 1 của AMD hiện nay. Khi hãng cuối cùng đã tung ra một sản phẩm không chỉ tiên tiến, mà còn được thiết kế để đáp ứng các yêu cầu quan trọng về AI trong ngành. Lớp máy gia tốc AI MI300 sẽ là một thế lực chiplet khác, sử dụng các công nghệ đóng gói tiên tiến của TSMC, vì vậy hãy cùng xem những gì ẩn sau những con quái vật AI này.

AMD Instinct MI300X – CDNA 3 & bộ nhớ khủng

Đây chắc chắn là con chip sẽ được chú ý nhiều nhất, vì nó rõ ràng được nhắm đến các bộ tăng tốc Hopper của NVIDIA và Gaudi của Intel trong phân khúc AI. Con chip này được thiết kế độc quyền trên kiến ​​trúc CDNA 3 và có rất nhiều thứ đang diễn ra, nó sẽ lưu trữ hỗn hợp IP 5nm và 6nm, tất cả kết hợp để cung cấp tới 153 tỷ bóng bán dẫn (MI300X).

Bắt đầu với thiết kế, bộ chuyển tiếp chính được bố trí bằng một khuôn thụ động, chứa lớp kết nối bằng giải pháp Infinity Fabric thế hệ tiếp theo. Bộ xen kẽ bao gồm tổng cộng 28 khuôn trong đó có 8 gói HBM3, 16 khuôn giả giữa các gói HBM và 4 khuôn hoạt động,, với mỗi khuôn sẽ có hai khuôn tính toán.

>>> Xem thêm thông tin liên quan đến linh kiện Server

Mỗi GCD dựa trên kiến ​​trúc GPU CDNA 3, có tổng cộng 40 đơn vị tính toán tương đương với 2560 lõi, tổng cộng có 8 khuôn điện toán (GCD), do đó cung cấp tổng cộng 320 đơn vị tính toán và 20.480 đơn vị cốt lõi. Để đạt được hiệu suất, AMD sẽ thu nhỏ lại một phần nhỏ trong số các lõi này và chúng ta sẽ nhận được thêm thông tin chi tiết về cấu hình chính xác sau một tháng kể từ bây giờ.

Bộ nhớ là một lĩnh vực khác mà bạn sẽ thấy một bản nâng cấp lớn với MI300X, có dung lượng HBM3 cao hơn 50% so với phiên bản tiền nhiệm MI250X (128 GB). Để đạt được nhóm bộ nhớ 192 GB, AMD đang trang bị cho MI300X 8 ngăn xếp HBM3 và mỗi ngăn xếp là 12-Hi, đồng thời kết hợp các IC 16 Gb mang lại dung lượng 2 GB cho mỗi IC hoặc 24 GB cho mỗi ngăn xếp.

Bộ nhớ sẽ cung cấp băng thông lên tới 5,2 TB/s và băng thông Infinity Fabric 896 GB/s, để so sánh, bộ tăng tốc AI H200 sắp ra mắt của NVIDIA cung cấp dung lượng 141 GB, trong khi Gaudi 3 của Intel sẽ cung cấp dung lượng 144GB. Nhóm bộ nhớ lớn đóng vai trò rất quan trọng trong LLM, vốn chủ yếu bị giới hạn về bộ nhớ và AMD chắc chắn có thể đưa ra được sức mạnh AI của mình bằng cách dẫn đầu trong bộ phận bộ nhớ, để so sánh:

• Bản năng MI300X – 192 GB HBM3
• Gaudi 3 – 144 GB HBM3e
• H200 – 141 GB HBM3e
• MI300A – 128 GB HBM3
• MI250X – 128GB HBM2e
• H100 – 96GB HBM3
• Gaudi 2 – 96 GB HBM2e

Về mức tiêu thụ điện năng, AMD Instinct MI300X được đánh giá ở mức 750W, tăng 50% so với 500W của Instinct MI250X và nhiều hơn 50W so với NVIDIA H200.

AMD Instinct MI300A – APU Exascale dày đặc

Chúng ta đã chờ đợi nhiều năm, để AMD cuối cùng thực hiện được lời hứa về APU loại Exascale và ngày đó đang đến gần, khi chúng ta tiến gần hơn đến việc ra mắt Instinct MI300A. Bao bì trên MI300A rất giống với MI300X, ngoại trừ việc nó sử dụng dung lượng bộ nhớ được tối ưu hóa TCO & lõi Zen 4.

Một trong những khuôn hoạt động có hai GCD CDNA 3 được cắt ra và thay thế bằng ba CCD Zen 4, cung cấp nhóm bộ đệm và IP lõi riêng biệt, với 8 Core và 16 Thread trên mỗi CCD, nên tổng cộng có 24 Core và 48 Thread trên khuôn hoạt động. Ngoài ra còn có 24 MB bộ đệm L2 (1 MB mỗi lõi) và một nhóm bộ đệm riêng biệt (32 MB mỗi CCD), cần nhớ rằng GCD CDNA 3 cũng có bộ nhớ đệm L2 riêng biệt.

Tổng hợp một số tính năng nổi bật của Bộ tăng tốc AMD Instinct MI300, chúng ta có:

• Gói CPU+GPU tích hợp đầu tiên
• Nhắm tới thị trường siêu máy tính Exascale
• AMD MI300A (CPU + GPU tích hợp)
• AMD MI300X (Chỉ GPU)
• 153 tỷ bóng bán dẫn
• Lên đến 24 Zen 4 lõi
• Kiến trúc GPU CDNA 3
• Bộ nhớ HBM3 lên tới 192 GB
• Lên đến 8 Chiplets + 8 ngăn xếp bộ nhớ (quy trình 5nm + 6nm)

Kết hợp tất cả những điều này lại với nhau, AMD sẽ làm việc với các đối tác và nhà hỗ trợ hệ sinh thái của mình, để cung cấp bộ tăng tốc AI MI300 với cấu hình 8 chiều có thiết kế SXM kết nối với bo mạch chính bằng các đầu nối lửng. Sẽ rất thú vị khi xem những loại cấu hình này sẽ được cung cấp bên trong, khi mà bo mạch SXM là sẵn có, chúng ta cũng có thể mong đợi một vài biến thể trong hệ số dạng PCI-E.

Kết luận

Hiện tại, AMD nên biết rằng các đối thủ cạnh tranh của họ cũng đang hết sức nỗ lực trong cơn sốt AI, khi mà NVIDIA đã đưa ra một số con số khổng lồ cho GPU Blackwell 2024 và Intel cũng đang chuẩn bị ra mắt GPU Guadi 3, Falcon Shores trong những năm tới.

Có một điều chắc chắn là ở thời điểm hiện tại, khách hàng AI sẽ ngấu nghiến hầu hết mọi thứ họ có thể có và mọi người sẽ tận dụng lợi thế đó. Nhưng AMD có một giải pháp rất đáng gờm, không chỉ hướng tới mục tiêu thay thế NVIDIA mà còn dẫn đầu phân khúc AI và chúng tôi hy vọng MI300 có thể giúp họ đạt được thành công đó.

Để biết thêm thông tin chi tiết các sản phẩm công nghệ: Máy chủ, PC, Thiết bị lưu trữ,…hãy theo dõi kênh thường xuyên nhé!