Thứ Năm, ngày 15/10/2026, Microsoft AI công bố một bài lab note có tiêu đề Frontier Pre-training at Microsoft AI. Đây là phòng lab nội bộ do Mustafa Suleyman điều hành, tách biệt với quan hệ hợp tác giữa Microsoft và OpenAI. Nội dung chính: phòng lab đã hoàn tất giai đoạn pre-training (tiền huấn luyện) cho MAI-Base-2. Đây là một model nền kiến trúc mixture-of-experts (MoE), tức model gồm nhiều mạng con “chuyên gia” và mỗi token chỉ kích hoạt một phần trong số đó. Model có tổng cộng 2.800 tỷ tham số, mỗi token dùng 80 tỷ, và được huấn luyện trên 16.000 GPU Nvidia GB200 trong 38 ngày, từ tháng 8 đến tháng 9/2026.
MAI-Base-2 chưa phải sản phẩm. Đây là base model, tức bộ trọng số thô sau pre-training, chưa qua instruction tuning và chưa qua RL cho khả năng suy luận. Microsoft cho biết model “đang trong giai đoạn post-training”, nên hiện chưa có API để gọi. Dù vậy, đây là lần Microsoft công khai chi tiết nhất về một đợt huấn luyện ở quy mô frontier. Bài viết cũng cho thấy rõ Microsoft muốn đứng ở đâu khi không còn chỉ dựa vào OpenAI.
Microsoft đã công bố những gì
Theo bài gốc của Microsoft và các bài trích dẫn lại (GIGAZINE, OODAloop):
- Quy mô: 2.800 tỷ tham số tổng, 80 tỷ hoạt động. Theo GIGAZINE, thế hệ trước là MAI-Base-1 có khoảng 1.000 tỷ tham số tổng và 35 tỷ hoạt động. MAI-Base-1 là nền của model suy luận MAI-Thinking-1 ra mắt tháng 6/2026.
- Dữ liệu: tổng hỗn hợp huấn luyện là 50 nghìn tỷ token. Phần dữ liệu ảnh–chữ (vision-language) có 4.500 tỷ token không trùng lặp và chiếm 18% hỗn hợp khi tính cả số lần lặp lại. Kho dữ liệu không trùng lặp lớn hơn của MAI-Base-1 khoảng 36%. Kiến thức của model dừng ở tháng 3/2026, và crawler (bộ thu thập dữ liệu web) của Microsoft tuân thủ
robots.txt. - Đa phương thức: model được “pre-train trực tiếp với hình ảnh theo kiến trúc VLM không cần encoder”. Ảnh đi thẳng vào transformer, không qua một bộ mã hóa ảnh riêng kiểu CLIP.
- Nguồn gốc dữ liệu: Microsoft khẳng định con đường đạt hiệu năng frontier của họ “dựa trên dữ liệu tự nhiên, không chưng cất (distillation) từ model khác”.
- Quyền truy cập: Microsoft sẽ “cấp phép trọng số cho các đối tác tin cậy qua Foundry”. Như vậy đây không phải model mở cho tất cả mọi người mà là trọng số cấp phép cho đối tác được chọn. Chưa có điều khoản, giá hay ngày phát hành.
Phần kỹ thuật đáng chú ý với developer
Phần lớn bài lab note nói về kỹ thuật hệ thống, và đây cũng là phần có nhiều thông tin cụ thể nhất:
- MoE ở mọi tầng. MAI-Base-1 chỉ đặt tầng MoE xen kẽ, một tầng có một tầng không, mà phòng lab cho là do “triển khai chưa hiệu quả”. MAI-Base-2 dùng MoE ở tất cả các tầng, với các chuyên gia chia nhỏ hơn và cơ chế “multi-round dropless MoE” giữ mức dùng bộ nhớ cố định. MFU (tỷ lệ sử dụng năng lực tính toán của phần cứng) ở các tầng MoE tăng từ 24% lên 35%.
- Optimizer Muon ở quy mô lớn. Phòng lab dùng Muon, optimizer trực giao hóa đã thay AdamW trong nhiều đợt huấn luyện frontier gần đây, với bản cài đặt Newton–Schulz phân mảnh (sharded). Muon chỉ chiếm 2,1% thời gian mỗi vòng lặp (165 ms), trong khi mức tối ưu lý thuyết là khoảng 55 ms.
- Hiệu suất toàn đợt huấn luyện. MFU trung bình đạt 21% so với đỉnh 2,5 PFLOPS BF16 của GB200. Goodput đạt 89%, nghĩa là 89% thời gian thực được dùng cho việc huấn luyện có ích, phần còn lại mất vào khởi động lại và xử lý lỗi. Với 16.000 GPU, đây là kết quả khá tốt, tương đương mức khoảng 90% mà MAI-Base-1 được cho là đạt trên 8.192 GPU, theo các bản tóm tắt báo cáo kỹ thuật MAI-Thinking-1.
- “Thang” scaling. Microsoft huấn luyện một loạt model nhỏ xếp thành các nấc thang, mỗi nấc đặt tên theo số tầng L. Kích thước ẩn (hidden size) là (256/3)·L, còn số query head bằng L làm tròn tới bội số của 16. Hình dạng cố định như vậy giúp họ khớp được các định luật scaling gọn gàng.
Một phép tính nhẩm cho thấy các con số khớp nhau. 16.000 GPU × 2,5 PFLOPS × 21% × 38 ngày ra khoảng 2,8 × 10²⁵ FLOP. Công thức ước lượng quen thuộc 6·N·D với 80 tỷ tham số hoạt động và 50 nghìn tỷ token cho khoảng 2,4 × 10²⁵ FLOP. Microsoft không công bố tổng lượng tính toán; đây là tính toán của tác giả.
Con số “hiệu quả gấp 4–12 lần” được tính ra sao
Tuyên bố chính của Microsoft là MAI-Base-2 có hiệu quả FLOP khi pre-training cao gấp 4–12 lần (trong thân bài là 4,2–12,3 lần) so với DeepSeek-V4-Pro-Base, mà họ gọi là base model mở mạnh nhất hiện nay. So với MAI-Base-1, mức cải thiện là 6,3–12,7 lần.
Cách tính rất quan trọng. Microsoft không so điểm benchmark cuối cùng kiểu MMLU. Họ dùng bốn bộ đánh giá giữ kín (held-out): code lấy từ codebase nội bộ của Microsoft, cùng các bộ STEM, toán và hỏi–đáp đặt hàng từ nhà cung cấp bên ngoài và đã lọc trùng với dữ liệu huấn luyện. Thước đo là bits per byte (BPB), cho biết model dự đoán văn bản chưa từng thấy tốt đến đâu. Với mỗi bộ, Microsoft khớp đường cong BPB theo lượng tính toán trên các model của “thang”, rồi ước tính công thức của họ cần bao nhiêu tính toán để đạt mức BPB của DeepSeek-V4-Pro-Base. Con số này được so với lượng tính toán DeepSeek đã công bố. Khoảng dao động 4–12 lần đến từ việc bốn bộ đánh giá cho kết quả khác nhau.
Cách làm này hợp lệ, nhưng cần hiểu đúng nó đo cái gì:
- Đây là ngoại suy. Con số 4–12 lần nói về công thức huấn luyện của Microsoft, suy ra từ đường cong scaling đã khớp. Nó không đến từ việc cho hai model hoàn chỉnh đấu trực tiếp trên cùng một bộ bài kiểm tra.
- BPB không phải năng lực. BPB thấp có tương quan với chất lượng ở các tác vụ thực tế, nhưng không đảm bảo model sau post-training sẽ viết code dạng agent hay dùng công cụ giỏi hơn.
- Bộ đánh giá không công khai. Một bộ là code nội bộ, các bộ còn lại do Microsoft đặt hàng. Người ngoài không thể tái lập kết quả.
- Các model còn lại đã qua post-training. Bài viết có so thêm với Kimi K3, Qwen3.8-2.4T-A95B và MiMo-V2.6-Pro-RL, nhưng các model này chỉ có bản đã post-train, nên đây không hẳn là so base với base. Kết quả chỉ được trình bày bằng biểu đồ, và không bài đưa tin nào chúng tôi đọc được chép lại con số cụ thể.
GIGAZINE tóm tắt rằng Microsoft giảm lượng tính toán pre-training “xuống còn một phần mười hai” mà vẫn ngang DeepSeek. Đó là mức cao nhất trong khoảng, không phải kết quả điển hình.
Vì sao điều này quan trọng
Có ba lý do khiến chuyện này đáng chú ý ngoài lộ trình riêng của Microsoft.
Microsoft đang tự xây toàn bộ hệ thống. Một phòng lab vận hành được 16.000 GPU GB200 với goodput 89%, tự viết kernel MoE và cơ chế phân mảnh optimizer, và tự thu thập dữ liệu thì có một phương án dự phòng đáng tin nếu không dùng OpenAI. Bài viết cho biết việc chuẩn bị MAI-Base-3 “đã bắt đầu”. Với doanh nghiệp mua model qua Azure, Foundry có thể sớm có một model frontier do chính Microsoft làm, bên cạnh model của OpenAI.
Hiệu quả đang thành thông điệp cạnh tranh chính. Hai tuần trước, Beam của Reflection AI cũng đặt hiệu quả tính toán lên trước bảng xếp hạng, và giờ Microsoft cũng vậy. Khi ngân sách huấn luyện lên tới hàng chục triệu giờ GPU, một công thức tốt hơn 4 lần có giá trị hơn vài điểm benchmark. Nhiều khả năng sẽ có thêm các phòng lab công bố so sánh BPB theo “thang” scaling, và cả những tranh cãi về cách so sánh đó.
“Không chưng cất” trở thành lợi thế bán hàng. Sau một năm có nhiều cáo buộc các phòng lab huấn luyện model trên đầu ra của nhau, Microsoft nhấn mạnh dữ liệu của họ là dữ liệu tự nhiên và được xử lý hoàn toàn nội bộ. Điều này quan trọng khi cấp phép cho doanh nghiệp, vì nguồn gốc dữ liệu và rủi ro sở hữu trí tuệ là vấn đề tuân thủ.
Những câu hỏi còn bỏ ngỏ
Nhiều thông tin cơ bản vẫn chưa được công bố: số lượng chuyên gia và cơ chế định tuyến, độ dài context, thiết kế attention, kết quả benchmark của bất kỳ model MAI nào đã post-train trên nền này, điều khoản cấp phép và ngày phát hành. Con số hiệu quả dựa trên bộ đánh giá riêng của Microsoft và cách Microsoft ước tính lượng tính toán của DeepSeek. Cho đến khi một model hoàn chỉnh ra mắt và được bên thứ ba kiểm chứng, MAI-Base-2 vẫn chỉ là một đợt huấn luyện được ghi chép kỹ lưỡng, chưa phải sản phẩm đã được chứng minh.