MOCC-R1: Reinforcing Reasoning-Response Consistency for Multimodal Counselor Response Generation· MOCC-R1：多模态辅导对话中强化理性与回应一致性
Multimodal counselor response generation (MCRG) aims to generate an appropriate counselor response from multimodal dialogue histories. Progress is limited by two gaps: first, existing datasets rarely capture sustained, human-recorded counseling interactions conducted by qualified counselors; Second, existing methods do not explicitly optimize consistency between counseling reasoning and the generated response, potentially undermining the reliability of MCRG systems. Thus, we introduce MOCC, a multimodal counseling conversation corpus containing over 200 hours of interactions involving 154 credential-verified counselors. Based on MOCC, we propose MOCC-R1, a two-stage framework for optimizing reasoning-response consistency. Cold-start supervised fine-tuning trains the model to generate a str
通过新数据集和两阶段框架提升多模态辅导对话中理性与回应的一致性
- 核心方法
- 该研究首先发布了MOCC，一个多模态辅导对话数据集，包含超过200小时由154名认证顾问参与的真实对话。其次，提出了一种两阶段框架MOCC-R1，第一阶段通过冷启动监督微调使模型能够生成与对话历史相匹配的辅导逻辑，第二阶段利用强化学习优化逻辑与回应间的一致性。
- 适合谁读
- 适合从事多模态对话系统研究的研究者和工程师阅读
- 要解决的问题
- 多模态辅导对话生成面临的主要问题是现有数据集不足以及现有方法未能确保辅导逻辑与回复之间的一致性，从而影响了系统的可靠性。
- 关键实验
- 实验部分展示了在MOCC数据集上应用MOCC-R1框架后，系统生成的回应在语义、情感和逻辑一致性方面有显著提升，但具体细节和数据未提供。
- 主要贡献
- MOCC数据集填补了多模态辅导对话研究领域的数据空白，MOCC-R1框架提高了辅导对话系统的可靠性和一致性。
- 意义与局限
- 此研究对于推进多模态对话系统的可靠性和实用性具有重要意义，但也受限于数据集特性和强化学习算法的优化空间。