大模型评判偏爱首个选项，交换顺序可纠偏

Reddit r/PromptEngineering 的一篇帖子称，LLM 在比较两个选项时倾向于偏爱第一个，这是一种已有记录的位置偏差。该帖引用了 Zheng et al. (2023) 的 Judging LLM-as-a-Judge，该研究发现模型会根据提示中的位置偏爱答案。解决办法是运行两次比较，并交换顺序。