AMD เริ่มปล่อย model สำหรับโมเดลที่สร้างจาก ชิปAMD แล้ว การแข่งเดือดๆขึ้น จะดีกับผู้บริโภคมากๆ

AMD เปิดตัว Instella-MoE โมเดล AI แบบ MoE ที่เปิดให้ศึกษากระบวนการฝึกครบทุกขั้น

AMD เปิดตัว Instella-MoE โมเดลภาษาแบบ Mixture-of-Experts รุ่นแรกของบริษัทที่พัฒนาภายใต้แนวทาง fully open โดยมีพารามิเตอร์รวม 16B แต่เรียกใช้งานเพียง 2.8B พารามิเตอร์ต่อโทเคน

โมเดลถูกฝึกตั้งแต่ต้นบน AMD Instinct MI300X และ MI325X ด้วยซอฟต์แวร์ ROCm พร้อมเฟรมเวิร์ก Primus และ Miles โดยใช้ข้อมูลในช่วง Pre-training รวม 7.1 ล้านล้านโทเคน และรองรับ Context Window สูงสุด 64K

จุดน่าสนใจไม่ใช่แค่ตัวโมเดล แต่ AMD เปิดทรัพยากรจากกระบวนการพัฒนาแทบทั้งหมด ทั้ง Checkpoint ตั้งแต่ Pre-training, Mid-training, Long-context, SFT, DPO ไปจนถึง RL รวมถึง Training Recipe, Data Mixture, Configuration และโค้ดสำหรับฝึกกับ Inference

สถาปัตยกรรมมี 64 Routed Experts โดยเลือกใช้ 6 Experts ร่วมกับ 2 Shared Experts ต่อโทเคน พร้อมเทคนิค Gated Multi-head Latent Attention และ FarSkip-Collective ซึ่ง AMD ระบุว่าช่วยเร่งการฝึก 12.7% และลด Time to First Token ได้สูงสุด 39.2% เมื่อรันแบบ Expert Parallelism

ด้านผลทดสอบ รุ่น Base ทำคะแนนเฉลี่ย 76.7 บนชุด Benchmark มาตรฐาน ส่วนรุ่น Instella-MoE-16B-A3B-Think ทำคะแนนเฉลี่ย 73.22 ในการประเมินหลัง Post-training โดย AMD ระบุว่าอยู่ในกลุ่มโมเดล Fully Open ที่แข็งแกร่งที่สุดเมื่อเทียบในขนาดใกล้เคียงกัน

อย่างไรก็ตาม คำว่า Fully Open ในที่นี้ควรแยกให้ออกระหว่างความโปร่งใสของกระบวนการกับสิทธิ์การใช้งาน เพราะตัวโมเดลเผยแพร่ภายใต้ ResearchRAIL สำหรับงานวิชาการและงานวิจัย ส่วนโค้ดฝึกใช้ MIT License

การเปิด Pipeline ตั้งแต่ข้อมูล สูตรฝึก ไปจนถึง Checkpoint ทุกช่วง ทำให้ Instella-MoE เป็นมากกว่าการปล่อย Weight และยังเป็นหลักฐานว่า AMD ต้องการผลักดัน ROCm ให้เป็นอีกทางเลือกสำหรับการฝึกและให้บริการโมเดล AI ขนาดใหญ่แบบครบวงจร

Credit: @PrakamyaMishra

#AMD #InstellaMoE #OpenSourceAI #LLM #ROCm #ArtificialIntelligence