Post-Transformer Architectures Open a Cost-Efficiency Frontier

“Towards Looped Models Done Right, Part I” รายงานว่า prelude–recurrent–coda topology ให้ผลเด่นและใช้ resident parameters น้อยลง 75% ภายใต้ FLOPs ที่จับคู่กัน พร้อมการถ่ายโอนไปยัง MoE. “Kalman linear attention” เป็นเบาะแสใหม่เรื่องการเชื่อม Bayesian filtering กับ attention ประสิทธิภาพสูง แต่ข้อมูลยังไม่พอประเมิน; การทำซ้ำและต้นทุนจริงของแนวทางเหล่านี้ยังเป็นคำถามเปิด.