Large Language Models Cannot Self-Correct Reasoning Yet

大模型是否具有自我修正的能力一直是当前 “LLM 热” 的研究重点。这篇来自 ICLR 2024 的论文(1)重新评估了当前一些关于大模型 self-correction 的研究结果，得出如下结论：

• 目前的 LLMs 很难在没有外部反馈的情况下做到“自我纠正”。

作者观察到，当前研究中 LLMs 的 self-correction 能力提升几乎全来自于用真实标签 (oracle label) 来指导模型的自我纠正过程。如果不提供这些真实标签，也就不再能复现这种提升。

实践中很难获取高质量的外部反馈，有效的自我纠正也更应该由 LLMs 自己不依赖外部反馈做出，即 intrinsic self-correction 。论文考察了当前大获成功的模型是否具备这种 intrinsic self-correction 能力，结果并不理想，根本问题是 LLMs 无法判断其推理的正确性。

这个方向 (intrinsic self-correction) 还有很大的研究空间。

当然，如果能为 LLMs 提供可靠的外部反馈，那么模型的推理能力将得到很大的提升。很多领域都有可靠的外部反馈，比如代码生成任务，其对应语言的解释器可以立马执行生成的代码，并给予模型反馈。因此，如何使 LLMs 与外部环境交互并从不同类型的可用反馈中学习将会是一个很有前景的研究方向。

一篇非常不错且具有指导性的文章，对于仍在入门或者有些迷茫的同学可以认真看看。