เมื่อไม่นานมานี้ Teknium ผู้พัฒนา Hermes Agent ได้นำเอเจนต์ของตนเองมาทดสอบ Headroom โครงการ open-source ยอดนิยมสำหรับการบีบอัดบริบท (context compression) ที่กำลังเป็นกระแสในวงการ AI

Headroom สร้างผลกระทบเชิงลบ ต่อเวิร์กโฟลว์ของ Hermes Agent เกือบทั้งหมด โดยเฉพาะฟีเจอร์หลักที่โฆษณาไว้ เช่น การ remove-and-retrieve (CCR) และการบีบอัดข้อมูลแบบ in-flight

ปัญหาที่พบ:

• เพิ่ม overhead ให้ระบบ

• รบกวน Prompt Caching และกลไกการสรุปข้อมูล (summarization) ที่ Hermes ใช้อยู่

• ประหยัด token ได้เพียง 0.34% บน traffic จริง (แทบไม่คุ้ม)

• กลายเป็น dependency ที่หนักและซับซ้อนโดยไม่จำเป็น

อย่างไรก็ตาม มี หนึ่งส่วนที่ให้ผลลัพธ์ดีมาก คือ
การบีบอัดผลลัพธ์ของ Search File Tool (ข้อมูลที่ได้ในรูปแบบ JSON)

• ลดจำนวน token ได้ถึง 58%

• ไม่สูญเสียคุณภาพข้อมูลเลย (lossless)

• ไม่ต้องพึ่ง library หรือ dependency ใด ๆ เพิ่ม

Hermes Agent กำลังนำเทคนิคนี้ไปพัฒนาและฝังเข้าไปในระบบโดยตรง เพื่อให้ผู้ใช้ได้รับประโยชน์โดยไม่ต้องติดตั้ง Headroom ทั้งก้อน

• อย่า นำ Headroom มาใช้แบบเต็มระบบกับ Hermes Agent ในขณะนี้ เพราะมีโอกาสสูงที่จะทำให้ประสิทธิภาพลดลงและต้นทุนเพิ่มขึ้น

• รออัปเดตครั้งต่อไปของ Hermes ที่จะรวมฟีเจอร์ Search File Densifier เข้าไป ซึ่งจะให้ผลลัพธ์ดีโดยไม่มีข้อเสีย

Headroom อาจเหมาะกับบางโปรเจกต์ แต่สำหรับ Hermes Agent แล้ว การเลือกใช้เฉพาะส่วนที่ได้ผลจริง ๆ กลับเป็นวิธีที่ชาญฉลาดกว่า

เครื่องมือที่กำลังฮิตและอ้างตัวเลขลด token มาก ๆ ไม่ได้หมายความว่าจะเหมาะกับทุก Agent เสมอไป การทดสอบจริงด้วยตัวเอง (หรือให้ Agent ช่วยทดสอบ) ยังคงเป็นวิธีที่ดีที่สุด

อ่านฉบับเต็ม: https://blog.nanobro.co/w1BKOTshd9sueI24HKV7