实验室学生ACL2023参会汇报

      2023 年 7 月 9 日 - 7 月 14 日，第 61 届 ACL（Annual Meeting of the Association for Computational Linguistics）在加拿大多伦多召开。ACL 年会是计算语言学和自然语言处理领域最重要的顶级国际会议，是中国计算机学会（CCF）推荐的 A 类国际学术会议。本次会议由Yang Liu ，Anna Rogers, Jordan Boyd-Graber 以及 Naoaki Okazaki担任程序主席。本次会议还邀请了重磅嘉宾Geoffrey Hinton和 Alison Gopnik给出特邀报告。

实验室2018级博士研究生钟宛君的论文“Disentangling Reasoning Capabilities from Language Models with Compositional Reasoning Transformers”被接收，并在线上进行报告。本论文受到国家自然科学基金、广东省自然科学基金等项目资助和广东省大数据分析与处理重点实验室的支持。

论文内容：

这篇论文介绍了ReasonFormer，这是一个统一的推理框架，用于模仿人类在复杂决策中的模块化和组合推理过程。该框架受到认知科学中双过程理论的启发，将表示模块（自动思考）和推理模块（受控思考）解耦，以捕获不同级别的认知。在表示模块的顶部，预训练的推理模块是模块化的，专业的，具备特定和基础的推理技巧（例如，逻辑，简单的问答等）。为了模仿受控的组合思考过程，不同的推理模块会以并行和级联的方式动态激活和组合，以控制激活哪些推理技巧以及推理过程将达到多深的深度来解决当前的问题。这个统一的推理框架用单一模型解决多个任务，并且以端到端的方式进行训练和推断。在需要不同推理技巧和复杂性的11个数据集上的评估表明，ReasonFormer展示了显著的性能提升，揭示了其组合推理能力。少样本实验通过学习组合预训练技巧以用于新任务的有限数据，并解耦表示模块和推理模块，表现出更好的泛化能力。进一步的分析显示推理模块的模块化,因为不同的任务在不同的推理深度激活了不同的推理技能。