近日，软件所人机交互团队的论文Exploring the Effects of Sensory Conflicts on Cognitive Fatigue in VR Remappings被人机交互领域CCF－A类顶级会议ACM UIST 2024授予最佳论文荣誉提名奖。论文展示了团队在虚拟现实空间交互的多模态信息感知与认知机制研究方面的成果，第一作者为人机交互技术与智能信息处理实验室博士生罗天任，通讯作者为韩腾研究员和田丰研究员。

虚拟现实技术以其丰富的多感官信息和虚拟属性，为用户提供了沉浸式体验，但同时也带来了更高的认知负荷挑战。认知负荷过载可能导致认知疲劳，影响用户体验。重映射技术作为一种增强虚拟现实交互能力的方法，通过改变虚拟与真实物体之间的空间映射关系，为用户提供了触觉代理、避开物理障碍物或产生幻觉等效果。然而，这种技术可能会破坏人的感觉统合，引发感官冲突。使用虚拟设备时产生的感官冲突与认知疲劳是否具有相关性，现有相关研究成果较少。

为了探究感官冲突与认知疲劳之间的关系，研究团队设计了一系列对照实验。他们选择了触觉重定位、转头重定向和巨人重放缩三种代表性的重映射技术，分别诱导视觉－本体觉冲突、视觉－前庭觉冲突和视觉－经验／记忆冲突。通过心理物理法的预实验，研究团队确定了感知阈值，构建了不同强度的感官冲突，并设置了无感官冲突的对照组。

三种代表性重映射

在实验中，参与者佩戴VR设备先后进行5分钟休息和30分钟认知疲劳诱导任务。任务要求参与者在不同实验条件下完成2－back任务，以模拟学习、训练任务所需的记忆负荷。同时，参与者每5分钟填写一次VAS－F（疲劳量表）和NASA－TLX（负荷量表）。

用户进行认知疲劳诱导任务

研究团队通过分析脑电指标（Alpha波、Beta波、Theta波）以及注意力、放松度、心理努力等指标的变化趋势，并结合VAS－F和NASA－TLX的量表分数、任务错误率和完成时间等行为表现，发现视觉－本体觉冲突和视觉－前庭觉冲突与认知疲劳呈正相关，即冲突越强烈，认知疲劳的加速作用越强。然而，视觉－经验／记忆冲突却能减缓认知疲劳的产生。

研究团队推测，重映射技术在实时偏移动作时增加了大脑对外界环境认知调节的需求，当这些认知资源被用于处理感官冲突时，执行具有记忆负荷的2－back任务的资源相应减少，从而降低了认知表现。而视觉－经验／记忆冲突由于更容易被认知系统适应，且新奇的感官错配体验使得交互任务变得更有趣，从而在一定程度上缓解了2－back任务中的认知紧张，延缓了认知疲劳。

实验发现及机制推测示意图

这项研究不仅为优化重映射技术在虚拟现实学习和训练等认知任务中的设计和应用提供了新的见解，还为设计更符合人类感知和认知的虚拟现实应用程序提供了指导。近年来，人机交互团队针对虚拟现实技术广泛应用中的关键挑战——感官冲突问题，进行了深入研究，并在人机交互领域的顶级会议UIST（2022、2023、2024）和CHI（2024）上连续发表了系列成果。

论文链接：https://dl.acm.org/doi/10.1145/3654777.3676439