医学＋混合现实：不只是影像“升维”

本文转自：健康报

前沿访谈

医学＋混合现实：不只是影像“升维”本期访谈嘉宾：叶哲伟

骨科专家，国家级创新平台培育计划首席科学家，国家骨科与运动康复临床医学研究中心临床研究项目首席科学家，华中科技大学同济医学院附属协和医院智能医学研究室主任。在国内率先定义并践行智能医学概念，带领团队完成世界上第一台混合现实技术支持下的髋部骨折微创手术，主编我国第一部《智能医学》国家教材，担任“十四五”普通高等教育规划教材——智能医学系列教材总主编，主编混合现实技术在医学领域的第一部专著《医学混合现实》。

本报记者 崔芳 王潇雨

健康报：提到数字技术，大家常听到虚拟现实（VR）、增强现实（AR）、混合现实（MR），它们之间有什么区别？以往人们常认为这些技术的应用场景是游戏，您能否举例说明一下，它们在医学场景中如何发挥作用？

叶哲伟：这些技术都是架设在现实世界和数字世界之间的桥梁。

虚拟现实（VR）就是在电脑屏幕上或者头戴式显示屏上，由计算机模拟出一个虚拟环境，从而让人有身临其境之感。

增强现实（AR）和VR类似，也需要使用配备屏幕、配备传感器的设备。和VR不同的是，AR的工作方式是在现实世界中叠加数字世界、虚拟内容。这些内容可以是简单的数字或文字通知，也可以是复杂的虚拟图像。我们常见的实景导航、视频中面部叠加眼镜或头盔的场景，就是AR技术的应用场景。

混合现实（MR）让数字图像影像技术实现了从量变到质变的突破，不再依赖屏幕，就能在三维空间对数字世界进行立体呈现。该技术的出现给医学创新带来无限可能。例如，把MR技术应用到骨科领域，医生在手术中就可以在不关闭常规视野的情况下打开一个数字化视野，我们能看到隐藏在软组织中的三维立体人体结构，可以细致观察到骨骼及其附近的血管、神经分布等，能对其进行实时放大、缩小、旋转。这样一来，手术医生如同拥有了透视眼，操作时可以避免损伤血管、神经，手术变得更加精准、安全。我们应用这项技术，成功实施了全球首例MR引导下的髋部骨折手术。

MR的三维立体重建影像都是基于计算机体层成像（CT）、磁共振影像生成的，有做CT、磁共振需求的科室都可以应用该技术进行影像“升维”，在三维空间立体地观察三维医学影像。

健康报：对于临床医生来说，手术很多时候是分秒必争的；对于患者来说，费用也是要重点考虑的。应用MR技术时，重建三维影像的速度怎么样？费用会很高吗？

叶哲伟：速度方面不用担心。现在已经有非常成熟的三维重建软件，4～5分钟就可以对传统医学影像进行个体化三维重建。而且，应用该技术时，患者不需要做额外的检查，已有的CT、磁共振数据就足够了。至于MR的呈现设备，目前费用从几万元到几十万元不等。相信随着技术的迭代升级，成本会快速下降。

健康报：这么有未来感的黑科技，可以搭载其他新技术吗？我们注意到，近年来，您还带领团队完成了全球首例5G环境下MR云平台远程会诊手术，其突破创新主要体现在哪些方面？

叶哲伟：2019年7月，湖北省恩施土家族苗族自治州咸丰县一位76岁的老太太胸椎骨折，需尽快救治，但要转到武汉的大医院，路程太远，耗时过长。我们通过5G网络实时传送的高清视频画面，利用MR云平台技术，对咸丰县人民医院的骨科医生进行远程指导，为老人实施远程会诊手术。术中，远在武汉的医生可以看到600公里外患者病灶部位的全息投影成像。我们用标记笔远程下达手术指令，指导现场手术的医生在两个小时内顺利完成复杂胸椎骨折手术。

这次远程会诊手术不但要用到MR、云平台技术，5G技术的加载也至关重要。以往应用的4G技术有高时延、低带宽的局限，当远程会诊手术进行多场景、高维度交互的复杂操作时，会因秒级的延时带来较大的风险。应用5G网络技术后，这些问题就迎刃而解了。5G通信具有高带宽、超低时延的特点，传输速率因此大大提升。快到什么程度呢？举个例子，当我们的手碰到一个针尖，会迅速地缩回来，这个时间平均是200毫秒，也就是0.2秒。而5G的时延是1毫秒，比人类的反应速度快200倍，人类不借助仪器是感受不到这种时延的。这意味着，远程操作的时延几乎可以忽略不计，精准度、安全性得到了极大保障。

通信技术越往后迭代越快，应用场景越多，叠加人工智能、数字孪生、机器人等一系列前沿技术，医学领域拓展的全新场景会越来越多。

健康报：您提到了未来的发展。在可预见的未来，MR技术在医学上的应用会有哪些？

叶哲伟：很多。首先，一定会为医生诊疗带来更多福祉。以骨科为例，医生在做微创手术时需要在狭小的空间中操作，常常要依赖透视设备如X线进行对比、确认。这时，医患都会暴露在射线内。患者做一次手术，射线剂量在安全范围内；但医生一天要做很多台手术，职业生涯里要做很多年手术，放射剂量肯定是超标的。应用MR技术，可大大减少手术过程对X线检查的依赖。未来，随着该技术的普及和发展，医生职业伤害会越来越少，甚至可能实现术中零透视、零伤害。

其次，随着MR技术的发展，有可能实现对人体手术部位进行一比一的数字孪生并精准定位，应用于外科可以实现手术的精准导航。

我国医疗资源分布不均，偏远地区、农村的老百姓如何享受到大医院的优质医疗资源？从一名医学生成长到专家，培养周期非常漫长，需要积累大量的临床经验，如何弥补经验欠缺期的不足？随着人工智能和大数据技术的发展，加载MR技术，可能实现对基层医生的AI辅助诊疗、高维度高精度的远程教学和会诊指导，这对于偏远地区患者、基层医生来说将是巨大的福音。将MR技术应用于医学教育、培训，可以虚实融合，大幅提升医学教学的质量和效率，降低医学生的试错成本，并显著增加医学生对疾病的认知。

另外，将MR技术应用于医患沟通，也能收到事半功倍的效果。很多时候，医患沟通不顺畅，主要原因是双方医学知识背景不对称，对同样一个事物的描述，医生的解释与患者的理解之间时常存在偏差。应用MR技术，在三维空间进行三维立体的医学沟通，更接近真实世界本来的样子，诊疗方案更加一目了然，沟通更加便捷，沟通效率显著提高，患者对医生的信任度、诊疗的依从性会显著增强。

健康报：如果MR以及相关技术在医学教育、临床实践中广泛应用，临床医生会不会依赖这样的高科技？一旦发生自然灾害、重大公共卫生事件等，如果条件不具备、没了这些技术的帮助，医生会不会能力退化、不会做手术了？

叶哲伟：目前，医学教育大量使用的还是二维医学影像，医学生接触的主流信息载体也是二维的。通过三维医学影像进行学习，认知复杂人体和疾病的三维立体结构，本质上相对于二维医学影像是一种“升维”。“升维”后，即使面对二维影像，也更容易在脑中构建出真实的三维结构，相对于基于二维医学影像的认知，可以形成“降维打击”。

人类对健康始终高度关注，前沿科技正在以前所未有的方式和速度进入医学领域。通过智能医学，这个世界的前沿科技和医学之间开始建立起系统性关联，孕育出一种全新的科学范式。未来已来！