Microsoft Maia 200 hé lộ tại Hot Chips 2026: 10 PFLOPS FP4, 216GB HBM3e

Microsoft đã tiết lộ sâu hơn kiến trúc Maia 200 tại Hot Chips 2026, cho thấy cách hãng tự thiết kế một accelerator AI chuyên phục vụ inference quy mô hyperscale. Con chip hơn 140 tỷ transistor sử dụng tiến trình TSMC 3nm, sở hữu 216GB HBM3e với băng thông 7TB/s và đạt hơn 10 PFLOPS FP4, nhưng điểm đáng chú ý hơn nằm ở kiến trúc điều khiển luồng dữ liệu bằng phần mềm và mạng scale-up dựa trên Ethernet.

Microsoft Maia 200 bước sang thế hệ accelerator AI thứ hai

Maia 200 là thế hệ thứ hai trong chương trình accelerator AI do Microsoft tự phát triển. Chip được công bố chính thức vào tháng 1/2026, trong khi bài trình bày tại Hot Chips 2026 cung cấp cái nhìn chi tiết hơn về cách Microsoft thiết kế kiến trúc tính toán, bộ nhớ, mạng và software stack cho sản phẩm.

Không giống GPU đa dụng hướng tới nhiều nhóm khách hàng, Maia 200 được tối ưu trực tiếp cho môi trường Azure và đặc biệt tập trung vào AI inference. Microsoft muốn cải thiện hiệu quả tạo token khi vận hành các mô hình ngôn ngữ lớn, đồng thời giảm chi phí trên mỗi tác vụ AI khi triển khai ở quy mô hàng nghìn accelerator.

Theo Microsoft, Maia 200 đã được triển khai tại khu vực Azure US Central gần Des Moines, Iowa và sẽ tiếp tục mở rộng tới các khu vực khác. Hãng cho biết accelerator này được sử dụng cho nhiều workload, bao gồm các mô hình OpenAI, Microsoft Foundry và Microsoft 365 Copilot.

Hơn 140 tỷ transistor trên tiến trình TSMC 3nm

Maia 200 được sản xuất trên tiến trình TSMC 3nm, chứa hơn 140 tỷ transistor. Tại Hot Chips 2026, ServeTheHome ghi nhận diện tích die khoảng 820mm² và TDP của SoC ở mức 750W.

Đây vẫn là một chip có kích thước rất lớn, nhưng Microsoft không đẩy mức tiêu thụ điện lên cao như một số accelerator AI cao cấp khác. Hãng chọn cách tập trung vào hiệu suất inference và hiệu quả kinh tế thay vì chỉ chạy theo công suất tính toán tối đa.

Microsoft công bố Maia 200 đạt hơn 10 PFLOPS FP4 và hơn 5 PFLOPS FP8. Các định dạng độ chính xác thấp này đặc biệt hữu ích với inference vì giúp tăng số phép tính thực hiện trên cùng tài nguyên silicon và giảm lượng dữ liệu phải di chuyển qua bộ nhớ.

Theo số liệu nội bộ của Microsoft, Maia 200 mang lại hiệu năng trên mỗi USD cao hơn khoảng 30% so với thế hệ phần cứng mới nhất trong hạ tầng hiện có của hãng. Đây là tuyên bố của Microsoft và hiệu quả thực tế vẫn phụ thuộc mô hình, kích thước batch cũng như cách workload được tối ưu.

Sự kiện Hot Chips năm nay cũng cho thấy ngành bán dẫn đang phát triển theo nhiều hướng song song. Không chỉ các hyperscaler như Microsoft đầu tư chip AI chuyên dụng, các nhà sản xuất CPU cũng liên tục đưa kiến trúc mới xuống nhiều phân khúc khác nhau, điển hình như CPU Intel Wildcat Lake mới được giới thiệu tại Hot Chips 2026. Điểm chung là phần cứng ngày càng được tối ưu sát hơn với workload thay vì sử dụng một kiến trúc chung cho mọi nhu cầu.

216GB HBM3e và băng thông bộ nhớ 7TB/s

Hiệu năng tính toán cao sẽ không mang lại nhiều giá trị nếu accelerator không được cung cấp dữ liệu đủ nhanh. Vì vậy, hệ thống bộ nhớ là một trong những phần Microsoft đầu tư mạnh trên Maia 200.

Chip được trang bị 216GB HBM3e thông qua sáu stack bộ nhớ, cung cấp tổng băng thông khoảng 7TB/s. Bên trong chip còn có 272MB SRAM để giữ dữ liệu gần các đơn vị xử lý hơn.

Thiết kế này đặc biệt phù hợp với các mô hình AI lớn. Trong inference, accelerator phải liên tục đọc model weights, xử lý KV Cache và di chuyển dữ liệu giữa nhiều tầng bộ nhớ. Nếu phần lớn thời gian của tensor engine bị tiêu tốn cho việc chờ dữ liệu, hiệu năng FP4 hoặc FP8 lý thuyết sẽ khó được khai thác.

Microsoft vì vậy không chỉ tăng HBM mà còn phát triển DMA engine chuyên dụng cùng mạng NoC bên trong chip. Mục tiêu là giảm lượng dữ liệu phải di chuyển không cần thiết và giữ các đơn vị tính toán hoạt động ở mức sử dụng cao.

Kiến trúc SDLA đặt luồng dữ liệu dưới sự kiểm soát của phần mềm

Một trong những điểm khác biệt lớn của Maia 200 là kiến trúc Software Defined Local Access – SDLA.

Theo phần trình bày tại Hot Chips 2026, Microsoft phân tách hai khái niệm: nơi dữ liệu được truy cập và cách dữ liệu được di chuyển. Với SDLA, việc truy cập dữ liệu được ưu tiên cục bộ tại các khối tính toán, trong khi dataflow được quyết định bằng phần mềm từ trước.

Cách tiếp cận này mang lại tính xác định cao. Compiler có thể biết trước dữ liệu cần di chuyển tới đâu và vào thời điểm nào, thay vì để phần cứng liên tục đưa ra quyết định động.

Control, I/O và compute cũng có thể hoạt động độc lập. DMA engine và processing element sở hữu hàng đợi lệnh riêng, sau đó đồng bộ thông qua semaphore. Điều này cho phép các hoạt động truyền dữ liệu và tính toán chồng lấp lên nhau để hạn chế thời gian accelerator phải chờ.

Đổi lại, SDLA khiến mối quan hệ giữa phần cứng và phần mềm trở nên chặt chẽ hơn. Kernel phải được tối ưu cho đúng kiến trúc Maia để accelerator đạt hiệu suất cao, thay vì dựa hoàn toàn vào khả năng scheduling động của phần cứng.

Mỗi tile có tensor engine và vector processor riêng

Đơn vị cơ bản trong kiến trúc tính toán của Maia 200 là tile.

Mỗi tile bao gồm Tile Tensor Unit (TTU) để thực hiện các phép toán ma trận, Tile Vector Processor (TVP) sử dụng các SIMD engine và Tile Control Processor (TCP). Ngoài ra còn có TDMA cùng bộ nhớ cache L1.

Các tile được tổ chức cùng hệ thống bộ nhớ phân cấp gồm L1 ở cấp tile và L2 ở cấp cluster trước khi truy cập HBM. Dữ liệu chỉ được chuyển lên hoặc xuống các tầng khi cần thiết.

Triết lý thiết kế này nhằm tăng khả năng tái sử dụng dữ liệu. Trong các workload như attention hoặc GEMM, một khối dữ liệu có thể tham gia nhiều phép toán. Giữ dữ liệu gần tensor engine giúp giảm lượng traffic tới HBM, tiết kiệm điện và tăng throughput tổng thể.

Maia 200 được tối ưu cho prefill, decode và Mixture of Experts

Inference của mô hình ngôn ngữ lớn không phải một workload đồng nhất.

Giai đoạn prefill xử lý prompt ban đầu thường có tính song song cao và cần lượng tính toán lớn. Ngược lại, decode tạo từng token tiếp theo và thường nhạy cảm hơn với độ trễ cũng như băng thông bộ nhớ.

Các mô hình Mixture of Experts còn làm bài toán phức tạp hơn vì chỉ một số expert được kích hoạt cho mỗi token, khiến workload phải được phân phối linh hoạt giữa các accelerator.

Microsoft cho biết những khác biệt này là một phần quan trọng trong mục tiêu thiết kế Maia 200. Khả năng điều khiển dataflow bằng phần mềm cho phép hệ thống tối ưu kernel tùy từng loại tác vụ thay vì cố định phần cứng vào một mô hình xử lý duy nhất.

Trong benchmark attention được trình diễn tại Hot Chips, ServeTheHome ghi nhận Maia 200 đạt hiệu năng hiệu dụng cao nhất khoảng 1,65 PFLOPS. Các benchmark GEMM cũng cho thấy nhiều workload tiến gần giới hạn roofline lý thuyết của chip.

Microsoft xây dựng mạng scale-up trên Ethernet

Maia 200 không được thiết kế để hoạt động đơn lẻ. Microsoft xây dựng cả hệ thống mạng để hàng nghìn accelerator có thể phối hợp xử lý cùng một workload.

Mỗi Maia 200 tích hợp NIC tùy chỉnh và tám lane Ethernet được chia thành bốn network plane. Microsoft sử dụng topology fully connected quad tại cấp hệ thống, trong đó bốn accelerator trong cùng tray được kết nối trực tiếp với nhau.

Mỗi accelerator cung cấp 2,8TB/s băng thông scale-up hai chiều. Microsoft cho biết kiến trúc có thể duy trì các collective operation trên cluster lên tới 6.144 accelerator.

Thay vì xây dựng một fabric độc quyền hoàn toàn tách biệt, hãng lựa chọn Ethernet làm nền tảng vật lý, kết hợp transport protocol và NIC do Microsoft phát triển.

Microsoft mô tả kiến trúc này như một mạng scale-up thống nhất, với switch Tier-0 kết nối các node trong rack và Tier-1 kết nối nhiều rack. Trong ví dụ tại Hot Chips, sơ đồ hệ thống mở rộng tới 128 rack và khoảng 6.000 chip.

Collective communication đạt gần 1,3TB/s

Việc kết nối hàng nghìn chip chỉ có ý nghĩa nếu các accelerator có thể trao đổi dữ liệu hiệu quả.

Microsoft sử dụng topology logic thích ứng cho collective communication. Một số loại dữ liệu có thể được truyền qua kết nối một hop, trong khi những transfer lớn hơn có thể chuyển sang mô hình ring để sử dụng mạng hiệu quả hơn.

Trong benchmark được công bố tại Hot Chips 2026, Maia 200 đạt gần 1,3TB/s với BF16 AllReduce, còn All2All đạt tối đa khoảng 655GB/s.

AllReduce đặc biệt quan trọng khi nhiều accelerator cần tổng hợp kết quả tính toán, còn All2All có vai trò lớn với Mixture of Experts vì token và activation có thể phải được chuyển tới những expert nằm trên chip khác.

Khả năng duy trì băng thông collective cao vì thế là một phần trực tiếp của hiệu năng inference chứ không chỉ là thông số mạng.

Software stack là trụ cột thứ ba của Maia 200

Microsoft không thiết kế Maia 200 theo mô hình làm chip trước rồi mới phát triển phần mềm sau. Công ty cho biết silicon, networking và system software đã được đồng phát triển từ giai đoạn rất sớm.

Một thành phần quan trọng là Microsoft Collective Communication Library (MCCL), đảm nhiệm các hoạt động truyền dữ liệu giữa nhiều accelerator. Maia SDK còn cung cấp tích hợp PyTorch, Triton Compiler, thư viện kernel được tối ưu, ngôn ngữ lập trình cấp thấp NPL, simulator và công cụ ước tính chi phí.

Cách tiếp cận này cho thấy AI infrastructure ngày càng phụ thuộc vào sự kết hợp giữa silicon và software stack. Với doanh nghiệp, bài toán vận hành cũng không dừng ở việc chọn CPU hay accelerator; hệ điều hành, công cụ quản trị, bảo mật và phần mềm bản quyền vẫn cần được tính vào tổng chi phí sở hữu cũng như khả năng hỗ trợ dài hạn của hệ thống.

Microsoft cho biết việc mô phỏng workload trước khi silicon hoàn thiện đã giúp hãng tối ưu kiến trúc từ sớm. Các mô hình AI có thể chạy trên Maia 200 chỉ vài ngày sau khi chip đóng gói đầu tiên xuất hiện, còn thời gian từ first silicon tới rack triển khai trong data center giảm xuống chưa tới một nửa so với các chương trình hạ tầng AI tương đương của hãng.

Maia 200 hướng đến bài toán kinh tế của AI inference

Microsoft không định vị Maia 200 như một chip thương mại để cạnh tranh trực tiếp trên thị trường card tăng tốc độc lập. Giá trị chính của sản phẩm nằm ở khả năng tối ưu toàn bộ Azure từ chip tới data center.

Hãng có thể điều chỉnh kiến trúc silicon dựa trên chính workload mà Azure đang vận hành, sau đó đồng thiết kế compiler, kernel, networking, cooling và hệ thống quản trị.

Đó cũng là lý do Microsoft nhấn mạnh performance-per-dollar thay vì chỉ công bố FLOPS. Với dịch vụ AI quy mô hyperscale, chỉ một cải thiện nhỏ về số token xử lý trên mỗi watt hoặc mỗi USD cũng có thể tạo ra khác biệt lớn khi nhân lên hàng nghìn accelerator hoạt động liên tục.

Maia 200 hiện đã được Microsoft đưa vào hạ tầng thực tế và không còn là một dự án thử nghiệm. Microsoft cho biết dòng Maia sẽ tiếp tục được phát triển qua nhiều thế hệ, đồng nghĩa hãng đang xây dựng một roadmap silicon AI dài hạn song song với việc tiếp tục sử dụng accelerator từ các nhà cung cấp bên ngoài.

Kết luận

Maia 200 cho thấy chiến lược chip AI của Microsoft đã tiến xa hơn việc đơn thuần tạo một accelerator để giảm sự phụ thuộc vào GPU bên ngoài. Hãng đang đồng thiết kế silicon, bộ nhớ, networking, cooling và software như một hệ thống thống nhất phục vụ Azure.

Thông số hơn 10 PFLOPS FP4, 216GB HBM3e và 7TB/s băng thông bộ nhớ tạo nền tảng tính toán đáng chú ý, nhưng kiến trúc SDLA, data movement engine và mạng Ethernet scale-up mới là những yếu tố thể hiện rõ triết lý của Maia 200.

Trong kỷ nguyên inference quy mô lớn, hiệu quả của một accelerator không còn được quyết định chỉ bởi số FLOPS. Khả năng giữ chip luôn có dữ liệu để xử lý, mở rộng hàng nghìn accelerator và tối ưu software cho phần cứng mới quyết định số token thực tế mà data center có thể cung cấp với cùng chi phí và điện năng.

Bài trình bày tại Hot Chips 2026 vì thế cho thấy Maia 200 không chỉ là chip AI thế hệ thứ hai của Microsoft, mà còn là một phần quan trọng trong chiến lược biến Azure thành hạ tầng AI được tối ưu từ silicon lên đến dịch vụ cloud.

Theo dõi và cập nhật thông tin công nghệ mới nhất cùng Máy Chủ Việt.