研究显示自蒸馏会降低多轮大模型智能体的表现: 研究人员发现，同策略自蒸馏会教会多轮 LLM 智能体在没有底层信息的情况下自信行事，有时表现比未经训练的基座模型更差。为解决这一问题，他们提出了 Privileged...

来源简报

研究显示自蒸馏会降低多轮大模型智能体的表现: 研究人员发现，同策略自蒸馏会教会多轮 LLM 智能体在没有底层信息的情况下自信行事，有时表现比未经训练的基座模型更差。为解决这一问题，他们提出了 Privileged Self-Practice，该方法将特权信息从损失函数移至采样器。