一、背景本文中咱们继续引见一种LLM推理优化相关的上班，经过路由的模式组合多个模型；其与投机采样相似，经过多个不同规模和性能的模型组合来降本增效，但是又有实质的区别，投机采样在一个Query内会重复调用大小模型，而路由模式在调用之前曾经确定......