diff --git a/tactile/README.md b/tactile/README.md deleted file mode 100644 index c8ad669b..00000000 --- a/tactile/README.md +++ /dev/null @@ -1,4 +0,0 @@ -# 基于 Mujoco 的可变形物体实时触摸建模和仿真系统 - -1. 生成至少3组可变性物体; -2. 完成触觉的建模和物体的控制 \ No newline at end of file diff --git a/tactile/undergraduat/content/chapter1.txt b/tactile/undergraduat/content/chapter1.txt new file mode 100644 index 00000000..c07d5664 --- /dev/null +++ b/tactile/undergraduat/content/chapter1.txt @@ -0,0 +1,125 @@ +\subsection{研究背景及意义} + +\subsubsection{选题背景} + +随着虚拟现实、医学仿真、机器人操作等领域的快速发展,可变形物体的触觉交互技术日益成为研究热点。该技术旨在通过物理仿真与触觉反馈的结合,使用户能够在虚拟环境中获得接近真实的触觉体验。本文围绕可变形物体建模、触觉渲染方法、VR/XR交互系统以及医学仿真应用等方面,对国内外相关研究进行梳理,并分析其发展趋势。 + +\subsubsection{选题意义} + +机器人仿真与虚拟现实领域经过多年积累,刚体物体的交互技术已相对成熟,软组织、柔性材料等可变形物体的仿真研究却仍处于起步阶段。这类物体在受力时表现出的非线性特征与时变属性给建模工作带来了相当大的困难,单纯依靠视觉信息难以支撑精细化的操控任务,操作者往往因缺乏力觉感知而无法准确判断接触状态。本课题选用MuJoCo作为物理仿真引擎,配合Weart触觉手套,尝试构建一套视觉呈现、物理运算与力觉反馈相互协同的交互系统。这一平台有望打破当前仿真研究偏重图形渲染、忽视触觉通道的局面,为研究者探索复杂形变件下的力学感知机制提供可重复验证的实验条件。 + + 在保证系统实时响应的前提下精确计算软体接触力并将其转化为触觉信号,这一问题在现有交互系统中尚未得到有效解决。本研究计划建立物理引擎输出参数与触觉驱动指令之间的映射关系,力求实现高刷新率、低传输延时的力觉回路。视觉信号与触觉信号的时空同步问题同样值得关注,为系统验证触觉反馈的实际效用,本课题将生成若干组物理特性各异的软体模型,涵盖不同弹性系数、阻尼参数与几何构型,借此考察触觉通道对操作稳定性与任务完成质量的影响程度。 + + 当前同类研究多侧重于演示交互效果的视觉逼真程度,缺乏针对交互过程本身的定量评估手段,本课题拟建立一套涵盖任务耗时、操作成功比例、接触力平稳程度等维度的评价指标体系。实验设计上将安排受试者分别在开启触觉与关闭触觉两种条件下执行相同任务,采集对应的操作数据,通过统计比较把操作者的主观触感体验转化为具有统计意义的数值结论,为触觉技术在远程医疗、精密组装及虚拟训练等应用场景的推广提供实证支撑。 + +\subsection{国内研究现状} + +国内学者在可变形物体触觉交互领域开展了多角度的研究工作,主要集中在以下几个方向。 + +在可变形物体形变仿真方面,马雨前针对虚拟手术中的软组织形变问题,提出了基于有限元仿真的RPIM无网格建模方法,并研究了相应的碰撞检测技术。冯上涛则专注于虚拟手术缝合仿真中的软组织形变与碰撞检测,为手术操作提供了技术支持。陈杰基于Unity3D平台实现了虚拟肝脏手术的形变与切割仿真,展示了游戏引擎在医学仿真中的应用潜力。这些研究为可变形物体的形变建模提供了不同的技术路径,为后续触觉交互系统的开发奠定了基础。 + +在触觉渲染与反馈方面,陈大鹏等[4]提出了一种数据驱动的纹理摩擦建模方法,通过采集真实物体的纹理数据来提升触觉渲染的真实性。陈庚[6]进一步研究了虚拟纹理多维属性的力触觉建模与再现方法,将触觉反馈从单一的力值扩展到粗糙度、摩擦系数等多维属性。这些工作表明,数据驱动方法在提升触觉真实性方面具有显著优势。 + +在软组织力学建模方面,刘代清[5]从手法淋巴引流的角度出发,建立了皮肤软组织的力学模型,并进行了淋巴动力学的有限元分析。胡子阳等[1]则将CBAM注意力机制引入到人体软组织的多物理场建模中,实现了快速同步建模。这些研究为可变形物体的物理参数设置提供了理论依据。 + +在XR交互系统方面,王宏润[2]研究了触觉增强的XR自然手势交互系统,探讨了如何在XR环境中实现自然的手势识别与触觉反馈。刘浩城[3]针对软组织的安全交互问题,提出了针灸机器人的柔性末端控制方法,强调了安全机制在软体操作中的重要性。 + +\subsubsection{国外研究现状} + +国外学者在可变形物体触觉交互领域的研究起步较早,在理论方法与系统实现方面均有较多积累。 + +在可变形物体操作方面,Blanco-Mulero D.[10]通过学习动力学模型与自适应策略,实现了可变形物体的高效机器人操作。该研究表明,学习算法能够有效处理可变形物体的非线性特性,为触觉交互中的力控制提供了参考。Kundu S.[11]则专注于布料类可变形物体的抓取质量评估,提出了多种评估指标,为量化可变形物体交互效果提供了方法。 + +在触觉交互系统方面,de Santis E等人[12]的工作与本研究密切相关。该研究在I-RIM 3D 2024会议上发表了题为"Haptic interaction with virtual deformable objects"的论文,提出了一套完整的触觉交互系统架构。该系统集成了MuJoCo物理引擎、WEART触觉手套和VR头显,实现了与虚拟可变形物体的实时触觉交互。该研究不仅展示了触觉交互的可行性,还提供了详细的实验设计和评估方法,为后续研究提供了重要参考。 + +\subsubsection{发展趋势} + +综合国内外研究现状,可变形物体触觉交互技术呈现出以下发展趋势。 + +首先,技术融合趋势明显。传统的有限元方法、弹簧-质点模型等物理仿真技术,正在与深度学习、数据驱动方法相结合。例如,胡子阳等[1]将注意力机制引入软组织建模,陈大鹏等[4]利用数据驱动方法进行纹理摩擦建模。这种技术融合能够充分发挥各方法的优势,提升触觉交互的真实性和准确性。 + +其次,评估体系日趋完善。早期研究多依赖主观评价或单一指标,而近期研究越来越重视量化评估。Kundu S.提出了抓取质量评估指标,de Santis E等人[12]在实验中使用了多种量化指标。建立完善的评估体系,有助于客观比较不同方法的优劣,推动技术进步。 + +最后,应用场景不断拓展。从最初的虚拟手术仿真,扩展到机器人操作、XR交互、康复训练等多个领域。王宏润[2]的研究展示了触觉交互在XR系统中的应用,刘浩城[3]的工作则体现了触觉技术在康复领域的潜力。 + +\subsubsection{对本人研究的启发} + +基于上述文献分析,本研究将围绕DeformableSimulation项目展开可变形物体触觉交互的实验与评估工作。 +在可变形物体建模方面,可以参考马雨前[7]、冯上涛[9]等人的研究,利用MuJoCo的flexcomp元素创建不同类型的可变形物体,包括网格型、椭球型和基于Gmsh网格的复杂生物组织模型。 +在触觉反馈方面,可以借鉴陈大鹏等[4]、陈庚[6]的数据驱动方法,优化项目中的纹理映射机制,将触觉反馈从单一的力值扩展到多维属性。 +在系统集成方面,de Santis E等人[12]的工作提供了完整的系统架构参考,包括硬件集成、软件设计、触觉反馈映射等关键环节。 +在评估体系方面,可以参考Kundu S.[11]的量化评估方法,建立包含接触力、纹理匹配度、系统性能等多维指标的评估体系。 +通过以上研究,本研究将实现可变形物体触觉交互的规范化流程,并输出可量化的评估结果,为相关领域的研究提供参考。 + +\subsection{研究方法与思路} + +本研究基于DeformableSimulation项目,采用MuJoCo物理引擎作为仿真平台,结合WEART TouchDIVER触觉手套与Oculus Rift S VR头显,构建可变形物体触觉交互系统。 + +研究方法主要包括可变形物体建模、触觉反馈机制、运动重定向算法以及系统性能评估四个方面。 + +1.在可变形物体建模方面,本研究利用MuJoCo的flexcomp元素创建多种类型的可变形物体,通过设置不同的类型参数(grid、ellipsoid、gmsh)、弹性参数(杨氏模量、泊松比、阻尼系数)和约束条件(固定节点、碰撞检测),实现软体立方体、软体球体、软体布料垫以及生物组织(如左肾、肝脏)等可变形物体的建模,其中grid型适用于规则形状的软体,ellipsoid型适用于球形可变形物体,gmsh型则用于复杂生物组织的建模。 + +2.在触觉反馈机制方面,本研究建立力值计算与纹理映射的双通道反馈机制,力值通道通过MuJoCo的touch传感器检测手指与可变形物体的接触,将物理引擎计算的接触力归一化为0-1范围的触觉强度,并通过WEART手套施加到用户手指,纹理通道根据接触的可变形物体类型,从预定义的纹理映射表中获取对应的纹理类型(如ProfiledRubberSlow、CrushedRock、VenetianGranite),实现触觉纹理的差异化反馈。 + +3.在运动重定向方面,本研究实现真实手部运动到虚拟手部的映射,通过Oculus Rift S控制器获取手部的位置与姿态信息,利用运动重定向算法将其转换为虚拟手部的mocap位置和四元数旋转,同时通过WEART手套获取手指的闭合度与外展角,将其映射到虚拟手指的关节角度,实现手指运动的精确控制。 + +4.在系统性能评估方面,本研究建立多维度的评估体系,通过固定测试集(包含不同类型的可变形物体),记录接触力值、纹理反馈类型、系统帧率、交互延迟等量化指标,同时设计对比实验,比较不同可变形物体(不同弹性参数、不同几何形状)的触觉反馈效果,分析触觉交互的真实性与稳定性。 + +研究思路遵循"建模-交互-评估"的闭环流程,首先基于MuJoCo创建可变形物体模型,设置合理的物理参数,其次集成硬件设备,实现触觉交互系统的搭建,再次开展交互实验,收集触觉反馈数据,最后分析实验结果,评估触觉交互的效果,并提出改进方案,通过这一研究思路,本研究旨在实现可变形物体触觉交互的规范化流程,并为相关领域的研究提供可复现的实验数据与方法参考。 + +\subsubsection{主要工作任务} + +1. 明确选题内涵:深入理解可变形物体触觉交互与实时仿真技术的核心原理,厘清基于 MuJoCo 引擎、WEART 触觉手套及 VR 设备的系统核心概念、技术框架与研究价值,界定研究的关键技术边界。 + +2. 文献综述与研究现状分析:系统收集国内外可变形物体建模、触觉渲染、多模态交互系统及相关物理引擎应用的研究文献,全面梳理研究现状,总结主流方法、技术瓶颈与发展趋势,明确本研究的切入点。 + +3. 确定研究思路与方法:在文献分析基础上,制定 “建模 - 交互 - 评估” 的闭环研究技术路线,明确实验环境搭建方案、系统开发框架、核心算法设计思路及评估指标体系,形成完整可行的研究方案。 + +4. 系统架构设计与可视化表达:使用 Visio 等绘图工具绘制系统整体架构图、模块交互流程图、数据传输链路图等,清晰展现硬件设备接入、软件模块划分及各环节数据流向,为系统开发提供明确指导。 + +5. 前期需求分析与技术设计:开展详细技术需求分析,包括硬件设备兼容需求、可变形物体模型参数设计、触觉反馈映射规则、运动重定向算法参数、系统实时性要求等,完成系统概要设计与详细设计文档。 + +6. 系统实现与功能验证:基于 DeformableSimulation 项目基础,实现可变形物体触觉交互系统。详细完成可变形物体建模(含规则形状与复杂生物组织)、触觉反馈机制(力值计算与纹理映射)、运动重定向等核心模块开发,阐述关键技术创新点,提供完整功能验证结果。 + +7. 实验结果分析与评估:设计标准化实验方案,包括不同类型可变形物体的交互测试、纯视觉与视触融合模式的对比实验等。采集接触力值、系统帧率、交互延迟、任务完成质量等量化数据,使用专业工具进行数据分析,验证系统性能与触觉反馈有效性。 + +8. 论文撰写与成果整理:按照学术论文规范,完成从选题背景、文献综述、系统设计、实验验证到结论展望的完整论文撰写,按时完成论文修改、定稿及答辩准备工作,确保研究成果的系统性与规范性。 + +\subsection{基本要求} + +1. 文献综述要求:文献调研需全面覆盖国内外最新研究成果,至少包含 20 篇以上核心文献(含中外文献),综述需分层分类归纳,既总结现有技术方法,又分析研究空白与不足,为研究提供坚实理论依据。 + +2. 系统开发要求:基于 MuJoCo 物理引擎、WEART TouchDIVER 触觉手套及 Oculus Rift S VR 头显实现系统开发,确保硬件设备兼容、软件模块接口清晰、代码可运行可复现。系统需支持多种可变形物体建模,实现力值与纹理双通道触觉反馈,保证实时响应(帧率稳定、低延迟)。 + +3. 实验验证要求:实验设计科学严谨,包含不同物理属性(弹性、阻尼、几何形状)的可变形物体测试集,设置纯视觉与视触融合两种对比场景。评估指标需涵盖系统性能(帧率、延迟)、交互效果(接触力准确性、纹理辨识度)、任务完成质量(耗时、成功率)等维度,所有实验结果需有详细数据记录与可视化展示。 + +4. 论文质量要求:论文观点明确、结构完整、层次清晰,技术描述准确详实,实验数据充分,分析论证严谨。语言表达通顺规范,符合学术写作要求,图表清晰规范,能完整呈现研究过程与成果。 + +5. 理论与实践结合:充分体现专业知识与工程实践的有机结合,展示运用物理仿真、触觉交互等理论解决实际问题的能力,技术方案需有理论支撑,实验结果需有深入理论分析。 + +6. 学术规范要求:严格遵守学术道德规范,所有引用文献均需正确标注,实验数据真实可靠,杜绝任何形式的学术不端行为。 + +7. 追求卓越标准:以高质量完成毕业设计为目标,在技术实现、实验设计、论文撰写等各环节追求高标准,力争研究成果达到良好以上水平。 + +\subsection{论文结构或写作提纲} + +第一章 绪论 + 阐明可变形物体交互仿真的研究背景与意义,分析当前软体接触建模面临的主要瓶颈,明确本研究的核心目标与技术路线。 + +第二章 相关工作 + 梳理可变形物体仿真、触觉渲染算法及多模态交互系统的研究现状,比较主流物理引擎的性能差异,论证本课题技术方案的合理性。 + +第三章 系统架构与仿真环境搭建 + 介绍硬件设备接入方式与软件接口设计,说明如何构建三组以上物理属性差异显著的可变形物体模型,并制定配套交互任务。 + +第四章 触觉建模与控制策略实现 + 阐述接触力参数提取方法,提出仿真力到触觉信号的映射算法,设计多线程控制框架以保证视觉与力觉的协调运行。 + +第五章 实验设计与结果分析 + 设计标准化操作任务,对比纯视觉与视触融合两种模式下的操作表现,以统计数据验证触觉反馈的有效性。 + +第六章 讨论与局限性分析 + 剖析系统性能表现,分析模型简化、设备带宽、传输延时等因素的影响,对典型失败案例进行归因。 + +第七章 总结与展望 + 归纳研究成果与创新点,探讨后续改进方向。