# AMD Instella-MoE Fully Open MoE Model By [nanobro](https://blog.nanobro.co) · 2026-07-28 ai, amd, opensource, llm, nanobro --- ![AMD เริ่มปล่อย model สำหรับโมเดลที่สร้างจาก ชิปAMD แล้ว การแข่งเดือดๆขึ้น จะดีกับผู้บริโภคมากๆ](https://storage.googleapis.com/papyrus_images/e7f1b7770502361c8aa169a37afb469f28bb8058eb2b2a251f5e3d2ba48423f2.png) AMD เริ่มปล่อย model สำหรับโมเดลที่สร้างจาก ชิปAMD แล้ว การแข่งเดือดๆขึ้น จะดีกับผู้บริโภคมากๆ AMD เริ่มปล่อย model สำหรับโมเดลที่สร้างจาก ชิปAMD แล้ว การแข่งเดือดๆขึ้น จะดีกับผู้บริโภคมากๆ ============================================================================================== AMD เริ่มปล่อย model สำหรับโมเดลที่สร้างจาก ชิปAMD แล้ว การแข่งเดือดๆขึ้น จะดีกับผู้บริโภคมากๆ * * * **AMD เปิดตัว Instella-MoE โมเดล AI แบบ MoE ที่เปิดให้ศึกษากระบวนการฝึกครบทุกขั้น** AMD เปิดตัว Instella-MoE โมเดลภาษาแบบ Mixture-of-Experts รุ่นแรกของบริษัทที่พัฒนาภายใต้แนวทาง fully open โดยมีพารามิเตอร์รวม 16B แต่เรียกใช้งานเพียง 2.8B พารามิเตอร์ต่อโทเคน โมเดลถูกฝึกตั้งแต่ต้นบน AMD Instinct MI300X และ MI325X ด้วยซอฟต์แวร์ ROCm พร้อมเฟรมเวิร์ก Primus และ Miles โดยใช้ข้อมูลในช่วง Pre-training รวม 7.1 ล้านล้านโทเคน และรองรับ Context Window สูงสุด 64K จุดน่าสนใจไม่ใช่แค่ตัวโมเดล แต่ AMD เปิดทรัพยากรจากกระบวนการพัฒนาแทบทั้งหมด ทั้ง Checkpoint ตั้งแต่ Pre-training, Mid-training, Long-context, SFT, DPO ไปจนถึง RL รวมถึง Training Recipe, Data Mixture, Configuration และโค้ดสำหรับฝึกกับ Inference สถาปัตยกรรมมี 64 Routed Experts โดยเลือกใช้ 6 Experts ร่วมกับ 2 Shared Experts ต่อโทเคน พร้อมเทคนิค Gated Multi-head Latent Attention และ FarSkip-Collective ซึ่ง AMD ระบุว่าช่วยเร่งการฝึก 12.7% และลด Time to First Token ได้สูงสุด 39.2% เมื่อรันแบบ Expert Parallelism ด้านผลทดสอบ รุ่น Base ทำคะแนนเฉลี่ย 76.7 บนชุด Benchmark มาตรฐาน ส่วนรุ่น Instella-MoE-16B-A3B-Think ทำคะแนนเฉลี่ย 73.22 ในการประเมินหลัง Post-training โดย AMD ระบุว่าอยู่ในกลุ่มโมเดล Fully Open ที่แข็งแกร่งที่สุดเมื่อเทียบในขนาดใกล้เคียงกัน อย่างไรก็ตาม คำว่า Fully Open ในที่นี้ควรแยกให้ออกระหว่างความโปร่งใสของกระบวนการกับสิทธิ์การใช้งาน เพราะตัวโมเดลเผยแพร่ภายใต้ ResearchRAIL สำหรับงานวิชาการและงานวิจัย ส่วนโค้ดฝึกใช้ MIT License การเปิด Pipeline ตั้งแต่ข้อมูล สูตรฝึก ไปจนถึง Checkpoint ทุกช่วง ทำให้ Instella-MoE เป็นมากกว่าการปล่อย Weight และยังเป็นหลักฐานว่า AMD ต้องการผลักดัน ROCm ให้เป็นอีกทางเลือกสำหรับการฝึกและให้บริการโมเดล AI ขนาดใหญ่แบบครบวงจร Credit: @PrakamyaMishra #AMD #InstellaMoE #OpenSourceAI #LLM #ROCm #ArtificialIntelligence --- *Originally published on [nanobro](https://blog.nanobro.co/amd-instella-moe-fully-open-moe-model)*