大模型加持手术机器人：可助力分级诊疗 需解决数据流通难

“手术机器人未来的发展就是要让一些普通手术变成‘傻瓜式’的，无论是谁来做这个手术效果都一样。只有这样才能实现病人的分流，大家才愿意去基层医院看病。”

“我觉得数据的分享问题需要从政府层面推动监管，还要让医院有动力来分享，医院在提供数据后，训练的模型提高了他们的工作效率，实现了好的手术效果，他们才会更乐意去分享。”

脑部是人体最为复杂和重要的器官之一，这使得脑部手术十分复杂、风险极高。多年来，许多医生提出了脑部手术的解决方案，但限于技术原因仍停留在理论阶段，AI大模型等新技术和机器人的结合，则为复杂的脑科手术提供了一种解决路径。

“增强现实技术和机器人的结合可以为医生呈现三维建模的仿真画面，还可以使用AI算法识别人体解剖学结构。”中国科学院香港创新研究院人工智能与机器人创新中心执行主任刘宏斌告诉澎湃科技（www.thepaper.cn），“通过AI大数据模型，医生可以让机器辅助他判断目前的手术进行到哪一阶段，有哪些需要注意的事项，进行实时提醒。”

刘宏斌主持研发了该中心的Embodied AI多模态手术大模型和MicroNeuro微创脑手术柔性机器人系统，以实现AI与机器人协作，辅助医生进行微创脑手术。这两款产品在刚刚结束的2023世界人工智能大会上进行了展示。

不过，大模型在手术领域的应用仍然任重道远。刘宏斌指出，就目前大模型的水平来说，仍然需要真人医生把控。此外，要实现质量更高的大模型训练，必须打通和强化数据分享，比如一些罕见病，在某个地方病例很少，而在另一个地方可能有多得多的病例。

刘宏斌还提出，AI可以助力分级诊疗的实现。“我们研发这些AI算法并不是为了帮助阅历丰富的临床专家，而是为了帮助一些缺少练手机会的医生。”他说，“手术机器人未来的发展就是要让一些普通手术变成‘傻瓜式’的，无论是谁来做这个手术效果都一样。只有这样才能实现病人的分流，大家才愿意去基层医院看病。”

MicroNeuro微创脑手术机器人展示

延伸医生的手、眼、脑

澎湃科技：能否介绍一下中科院香港创新院人工智能与机器人创新中心目前从事的研究？

刘宏斌：目前主要聚焦医疗健康领域，包括基于AI的脑手术现实增强及导航技术、Embodied AI多模态手术大模型、未来具身智能手术室以及MicroNeuro微创脑手术机器人。其中未来具身智能手术室是较为长远的总体目标，将集成创新中心各类人工智能、机器人技术。

MicroNeuro是国际上第一个用于微创神经外科的柔性机器人系统。脑外科医生可以操作机器人到达脑部深处，并进行稳、准、可见的智能化微创手术，同时将脑组织损伤降低50%以上。MicroNeuro还集成了AI多模态手术大模型，能够在手术过程中实时融合视觉、触觉等多模态信息，协助医生对手术场景进行实时推理判断。该模型不止有语言功能，还有分析实时影像信息的多模态能力，比如内窥镜超声等功能模块已经集成到了大模型里，专门面向手术垂直应用领域。

澎湃科技：如何解释未来具身智能手术室的概念？

刘宏斌：未来具身智能手术室是一个集成性的概念，现在的手术室只是医生做手术的空间，但未来的手术室其本体可能就是一个机器人，或者说一个智能的技术集合体。它的组成部分包括：微创手术机器人，是医生手的延伸；各种各样的成像设备，比如内窥镜、手术室监控摄像头、超声等实时影像设备，是医生眼睛的延伸；AI大模型，部署在一个边缘计算系统上，是医生大脑的延伸。

澎湃科技：未来具身智能手术室目前发展情况如何？

刘宏斌：目前仍在起步阶段，由于技术限制，没办法将所有技术集成在一个真正的手术室中，但很多子模块的功能已经开始实施。

其中有手术大模型Embodied AI在神经内镜方向的应用，现在已经与香港威尔士亲王医院的神经外科合作。在手术的过程中，AI可以比较准确地得出智能诊断建议，还可以对手术器械进行跟踪、对不同的解剖学结构进行辨识。对于AI大模型，医生们的反馈也很积极，未来不只是一个医生、一名护士受益，具身智能手术室将拥有增强一整个医疗团队手术水平的能力。

澎湃科技：MicroNeuro微创脑手术机器人的特点是什么？取得了哪些突破？

刘宏斌：该手术机器人系统性的突破主要体现在两方面，首先是对微小且柔软器械的精准控制。比如，如何保证其在狭窄的空间里拐急弯时不失控。这一问题看起来很容易解决，但要想保证操作又稳又准又灵活，实际上涉及到非常复杂的算法。

第二点突破在于技术间的结合，将手术大模型与机器人相结合能够有效帮助医生在高度紧张的情况下顺利完成脑手术。做脑手术的一个痛点就在于，即使是经验非常丰富的医生也很容易紧张，可能忘掉下一步该做什么。而通过AI大数据模型，医生可以让机器辅助他判断目前的手术到了哪一阶段，有哪些需要注意的事项，进行实时提醒。

此外，增强现实技术和机器人的结合也很重要，这里我需要特别提及一下，为什么神经外科的手术机器人发展相比腹腔镜机器人比较缓慢，其中很重要的原因就是神经外科是一个高风险手术，容错率非常低。

进入脑中做手术，医生没办法通过肉眼来判断机器人的交互情况，整个手术过程中只能看到前端内窥镜传回来的画面，视野极小，但深入脑部的器械全程都在脑组织进行接触，这就需要非常精准的导航和增强现实技术弥补。我们的机器人又是一种可弯曲的柔性结构，对导航系统的要求就更高。增强现实技术可以为医生呈现三维建模的仿真画面，还可以使用AI算法识别人体解剖学结构，从而在虚实结合的状态下进行手术。

去年开始，我们已经在威尔士亲王医院做预临床手术实验，进行了三次尸体实验，且成功率很高。通过这种预临床实验的模式，证明了与我们合作的医生陈达明主任的一个想法，即现在很多需要开两个颅骨上骨疮的脑手术，通过微创机器人，可以简化至只钻一个小孔就能完成。相较于传统方式，对脑组织的损伤可降低一半以上，且机器人的安全性、可靠性也已经得到验证。

增强现实技术可以为医生呈现三维建模的仿真画面，还可以使用AI算法识别人体解剖学结构，从而在虚实结合的状态下进行手术

如何保护病人的隐私？

澎湃科技：Embodied AI手术大模型是如何开发出来的？具体能起到什么作用？

刘宏斌：我们中心由中科院自动化所领导，很多研发和自动化所协同进行，因此我们所使用的基础大模型是“紫东·太初”（注：中国科学院自动化研究所开发的多模态大模型）。

我们的手术垂直模型，除了使用公开的医疗数据库训练，还针对手术进行了专门的训练，比如手术教科书、手术科研资料、手术论文，整理了大约有200G的语料。“紫东.太初”是多模态大模型，所以我们还使用了大量标注过信息的手术视频进行跨模态训练。

目前大模型在手术过程中可以帮助医生看得更清楚，还可以给医生做一些提示指导，包括在手术过程中判断某些操作是不是符合流程规范。但是目前AI还不能自己做判断。

澎湃科技：目前手术大模型在应用过程中遇到了什么问题吗？这些问题在医疗领域会不会产生严重后果？

刘宏斌：首先是大模型本身的技术瓶颈，比如有时候模型会出现“幻觉”，还有就是模型的算力不强。

医疗领域需要避免这些问题，所以我们在手术大模型上外挂了一个专家知识库，对于AI来说，如果遇到特项手术会优先调用专家知识库中的信息。此外，AI做出的判断会由一个医生进行最终判定。就目前大模型的水平来说，仍然需要真人把控。

澎湃科技：是否涉及病人的数据隐私？

刘宏斌：我们在训练模型的时候，数据是经过脱敏处理的，对于医疗行业来说，我们有一个原则，疾病以及其在患者身上的表现的数据是可以用的，但绝对不能出现通过数据追溯到某个人的情况，打断这个追溯的链条非常重要。

澎湃科技：数据难流通是否是目前AI医疗大模型面临的问题？是否会带来模型偏见？

刘宏斌：对于AI来说，肯定是高质量数据越多，性能越稳定，多样性越好，可靠性越高。数据分享很重要，某些罕见病从人口基数上来看确实很罕见，但对于擅长专项治疗的医院，可能就不那么罕见了。一个四五线城市，某些特殊的口腔癌一年最多就两个病例，但要去到湖南，到长沙湘潭医院，一年几千个病例都有可能。

我觉得数据的分享问题需要从政府层面推动监管，还要让医院有动力来分享，医院在提供数据后，训练的模型提高了他们的工作效率，实现了好的手术效果，他们才会更乐意去分享。

什么是AI全流程数字化？

澎湃科技：医疗领域引入AI是否会带来更多医疗纠纷问题？

刘宏斌：我觉得引入AI就是为了解决这些问题。很多医疗纠纷源自于，医生按照流程合规进行手术，但“空口无凭”，很多患者、患者家属并不相信，带来很多矛盾、分歧。

但引入AI后，手术全流程数字化，每一项操作都有记录，实现透明化，对于医患双方都是一个很好的保护。

澎湃科技：全流程数字化的医疗过程是什么样的？

刘宏斌：第一个环节，患者把自己的一些症状告诉医疗机构，然后医疗机构分流至医院，医生看病例，然后通过病例来判断是否要手术，进行什么类型的手术。

在这个过程中AI起辅助作用，如术前的一些检查，拍CT、核磁、化验血等，可使用多模态大模型对医学影像、检验报告进行分析。

然后AI可进行手术规划，这也是医疗元宇宙的概念，使用算法仿真整个手术流程，小到患者在手术台上怎么躺，医生都能清晰明了地看见模拟过程。

在开始正式手术之前，AI还会评测术前准备是否无误，比如手术器械是否准备妥当、人员是否站位合理、是否经过了严格的消毒程序。病人进手术室后，AI还要进行核对，确保开刀的位置正确，这个听起来有点可笑，但其实每年都会发生这样的事故。

手术过程中 ，AI和机器人共同辅助医生完成手术流程，在手术过程中对安全性进行监控，对一些重要的手术节点给予指导提醒，在手术过程中给医生一些增强现实辅助。

如垂体瘤手术，这是一种经鼻的微创手术，需要进入鼻腔，在鼻腔后部打开骨窗，从而到达脑部。这个过程中，有很多重要结构需要避开，此前全凭医生经验，而现在通过增强现实技术和AI算法，将影像仿真或投影到显示器上，AI就可以随时提醒医生。

手术结束后，AI能够客观地记录所有流程，未来还可以自动生成手术报告，核对每一条执行是否准确无误，这些信息跟随进入病人的康复阶段，辅助术后康复过程直至患者康复。

澎湃科技：引入AI是否会提高成本，增加患者负担？

刘宏斌：首先看病的花销不能只看一场手术，需要计算一个人从看病到恢复的整个周期耗费的时间、成本，引入AI增加了手术成本，却加快了康复流程，这是完全可以接受的。还有就是技术要有不可替代性，实际上，现在很多微创化手术的想法，很多年前就已提出，只是AI的发展水平还有没有跟上。而微创化恰恰是减少患者身体损害、加快恢复过程最主流的一种思路。

澎湃科技：AI能否解决医疗资源紧张问题？

刘宏斌：AI可以助力分级诊疗的实现，目前县域医疗水平的提升以及分级诊疗的落实，并不能单纯地依靠5G等通讯技术的赋能，更重要的是对于基层医生的培训。我们研发这些AI算法并不是为了帮助阅历丰富的临床专家，而是为了帮助一些缺少练手机会的医生。比如基层医生，他们接触的病人少，就需要AI来对他们进行培训，让他们在诊断的时候因为有AI的加持更加有信心，同样也让病人更加信任他们。大模型不光只是帮医生做出判断，在使用的过程中，也是在给医生一个从AI身上学习的机会。

我们目前面临的难题并不是临床专家无法通过远程进行手术，而是专家数量有限。手术机器人未来的发展就是要让一些普通手术变成“傻瓜式”的，无论是谁来做这个手术效果都一样。只有这样才能实现病人的分流，大家才愿意去基层医院看病。