Qiushi Sun

Qiushi Sun

Ph.D. candidate in NLP

← All posts

OCEAN：离线多步推理评估与对齐 (ICLR 2025)

2025-02-20 6 min read LLM, Reasoning

随着大型语言模型（LLMs）的迅猛发展，它们在自然语言处理领域展现出了惊人的推理与生成能力。但当前对 LLM 多步推理过程的评估和优化，往往依赖于在线实验或庞大的人力标注，这带来了几个显著挑战：

  1. 高昂成本：持续的在线交互与人工打分需要消耗大量资源与时间；
  2. 可扩展性不足：复杂多步推理场景中，人工标注往往受到知识背景和专业能力的限制，难以全面覆盖各类推理需求；
  3. 标注难度激增：对生成的思维链（Chain-of-Thought）进行细致反馈时，标注工作量呈指数级增长，难以实现高效指导。

为了解决这些问题，来自 UC San Diego、Adobe Research、ECNU 等机构的研究团队在 ICLR 2025 上发表了突破性论文 《OCEAN: Offline Chain-of-thought Evaluation and Alignment in Large Language Models via Knowledge Graph Exploration》。该工作提出了一套全新的离线评估与优化框架——OCEAN，其核心贡献主要包括：

  • 离线推理评估框架：通过利用离线日志数据和逆倾向评分（IPS）等技术，OCEAN 能够在无需实时交互的情况下，精确评估 LLM 多步推理的表现，大幅降低评估成本。
  • 知识图谱自动反馈机制：该方法利用知识图谱中多跳推理路径的自动“口头化”，为 LLM 提供实时的、低成本的反馈信号，从而实现推理路径与外部知识结构的对齐。
  • 策略优化与鲁棒性提升：在理论上证明了基于知识图的 KG-IPS 估计器的无偏性和低方差，通过直接策略优化显著提升了 LLM 的推理准确性和一致性，同时保证模型在其他任务上的通用能力不受影响。

论文链接：https://arxiv.org/abs/2410.23703

OCEAN 框架：离线评估与对齐

OCEAN 全称为 Offline Chain-of-thought Evaluation and Alignment，围绕以下几个核心思路展开：

  1. 离线推理评估框架
    • 将 LLM 的多步推理过程视为一个马尔可夫决策过程（MDP），无需额外在线数据收集。
    • 通过离线的数据日志 + 知识图自动打分，利用逆倾向评分（IPS）等技术，评估目标策略（即 LLM 的思维链生成）在不同推理轨迹上的表现。
  2. 知识图谱偏好建模
    • 研究团队用一个“小语言模型”来对知识图谱进行探索和建模，得到“知识图偏好策略”。
    • 该策略能将知识图上的多跳路径口头化（verbalize）成自然语言，让 LLM 的推理步骤与知识图轨迹进行对比或对齐。
  3. KG-IPS 估计器

    • 融入逆倾向评分（IPS）理念，提出 KG-IPS，对“实体 token”由知识图策略进行赋权，对“非实体 token”由基础策略 $\pi_0$ 管理，降低长序列推理导致的方差累积风险。

    • 在论文中，作者证明了该估计器的无偏性，并给出了其方差下界与置信区间。

  4. 直接策略优化
    • 基于离线数据，通过最大化 KG-IPS 估计的策略价值，可以直接使用梯度更新来优化 LLM 的多步推理策略，而无需在线采集新数据。

理论分析

在理论层面，该研究从以下角度对 OCEAN 进行了深入探讨：

  • KG-IPS 的无偏性：展示了在离线情形下，如何保证估计到的策略价值不会产生系统性偏差；

  • 方差下界与置信区间：通过次高斯（sub-Gaussian）不等式，给出了方差下界与估计误差上限；

  • 最优策略一致性：文中附录进一步分析了实体 token 奖励与非实体奖励之间的协同作用，说明实体部分主导推理过程的关键作用，而非实体部分则作为正则项，不会影响最终最优策略。

性能表现

该研究在多种问答与推理任务上对 OCEAN 进行了广泛验证，包括：

  • 多步推理 (如 HotpotQA, StrategyQA, MuSiQue)
  • 知识密集型推理 (如 ARC, PubMedQA, SciQA)
  • 常识问答 (如 CSQA, OpenBookQA, WinoGrande)

实验亮点：

  1. 显著性能提升：在多步推理、知识密集推理等场景，OCEAN 相对于基线和有监督微调（SFT）均表现优异，尤其在 HotpotQA、StrategyQA 等复杂任务上优势明显。下图示意了在多步 QA 中，OCEAN 微调后模型的表现相较于基线模型的提升：
  2. 稳健性：与传统有监督微调相比，OCEAN 不会带来“灾难性遗忘”；在常识性任务上，模型依旧能保持或略微提升原本的准确率。
  3. 多样性与忠实度：在生成质量评估指标（Self-BLEU, Distinct-2, AlignScore）上，OCEAN 同样能维持或提升文本多样性与“对上下文的忠实度”。

该方法使得LLM生成的思维链更加精准与简洁，下图是一个对比的推理示例

更多分析：在不影响通用能力的前提下提升推理水平

  1. 对齐的灵活性：

    • 自动反馈：OCEAN 利用知识图谱自动生成反馈信号，无需人工制定大量规则，也不依赖大规模评分，从而适应多种推理场景。

    • 领域保留：在面对下游任务变化时，模型依然保留原有领域知识，并在新的推理路径上实现有效对齐，保证整体能力不受影响。

  2. 兼容性：
    • 与其他微调方式协同 ：论文中还讨论了 OCEAN 与 In-Context Learning、Instruction Tuning 等方法的结合。整体来看，OCEAN 在优化推理策略的同时，不会破坏模型在其他微调范式上的表现，体现了较强的兼容性。
  3. 研究启示：

    • 低成本、自动化评估：离线评估方法为多步推理任务提供了新的方向，将知识图等外部知识库作为自动反馈源，大幅降低对人工监督的依赖。

    • 未来发展潜力：OCEAN 的成功展示有望激发更多类似的离线对齐方法，将 Chain-of-Thought 与外部知识结构相结合，促使 LLM 更好地“走对路径”。

未来展望

OCEAN 在离线评估与优化 LLM 推理能力方面展示了强大的潜力，但也为后续研究留下了若干值得思考的方向：

  1. 更多类型知识图探索：如在医疗、法律等垂直领域应用，以检验 OCEAN 的可迁移性；
  2. 进一步降低方差与增强安全性：如何在保持不偏的前提下，进一步减小长序列 IPS 的方差累积问题？
  3. 协同外部工具：结合检索、计算等外部API，打造更强大的多步推理框架。

结语

OCEAN 框架为大型语言模型提供了一套全新的离线多步推理评估与对齐方案，以知识图为辅助，在保证模型通用能力的同时，使多步推理过程更准确、更可靠。这不仅为 LLM 的推理评估提供了强有力的工具，也为后续研究和应用留下了广阔的发展空间。我们期待更多研究者关注并扩展这项工作，让大型语言模型在认知与推理能力上迈向新的高度。