3D成像辅助生命科学

虽然人体和单细胞是三维的，但它们的成像往往不是。在计算机断层扫描，磁共振，超声甚至显微镜研究过程中，研究人员可以在二维切片中捕获数据。然而，这些与真实世界医学和生命科学结构相关的2D图像在读解时，往往需要一般人无法掌握的专业知识。而现在，显示相关技术和软件的进步正在带领行业发生变化，对医学和生物科学的教育到运营规划上大为有益。

 

其中一些先进技术是从远离生命科学的技术领域借鉴而来。放射学教授，奥地利林茨开普勒大学医院中心放射学研究所所长FranzFellner正处于这种情况，他一直在使用基于类似于电影中的技术的3D渲染来帮助研究。

 

 

“我用电影技术的影像渲染来创建课程上常会用到的PowerPoint中的解剖图形，”他表示。Fellner通过CT和MRI数据集来完成这项工作，将这些数据转化为3D解剖学课程，受众包括医学生和普罗大众。

 

图2是在高分辨率的8K投影室中完成的，在墙壁和地板上可提供双16×9米的观察表面，允许立体3D图像，能将图像切片转换为组装的逼真整体。

 

 

这背后的图像处理技术是在过去几年中由西门子公司独立管理的医疗保健业务，现在的SiemensHealthineers开发，该公司提供都每种都能进行3D成像的CT，MRI，PET和X射线设备。

 

“近年来，由这些扫描仪产生的数据正在大幅增加，”Syngo全球产品营销负责人AndreSteinbuss表示（西门子医疗保健公司的放射成像后处理业务线）。

 

然而这些由3D成像技术产生的大量数据普遍存在问题，导致放射科医师不得不与外科专家（如外科医生和其他专业人士）进行沟通。Steinbuss说，将2D灰度数据转换成3D演示的传统渲染技术并没有产生高质量的图像，虽然这些技术经常被外部专家们所接受。

 

为了克服这个缺点，该公司创建了基于电影技术的软件来创建逼真的图像。符合医学成像信息的DICOM（医学数字成像和通信）标准的任何来源都能够输入的数据，因此，该软件可以捕获的数据包括用CT或MRI扫描仪在内。

 

目前，3D渲染软件系统可用于教学和演示，但尚不用于诊断目的。监管机构要求新诊断工具或者诊断方法的提供者能够证明新方法比旧方法更好。据此，西门子医疗保健公司正在寻求临床益处如，软组织和肌肉的可视化，但尚未有有效证据。

 

在奥地利的开普勒大学医院，很少有地方会用到大量的演示。事实上，许多设备可能只具显示2D图像的诊断监视器。“在这种情况下，3D数据将呈现为二维，高质量，高分辨率的图像”，Steinbuss表示。如演示所示，但最终必须在可用的显示器上查看3D成像。“为了满足对3D呈现方法的需求，我们正在努力将新的显示技术投入生产。”来自HolografikaKft.的首席执行官TiborBalogh表示，“我们的目标是创建一个显示器，在该显示器中，屏幕无法与通过窗口查看的同一图像区分。”

 

虽然尚未能实现这一目标，但该公司的HoloVizio3D光场显示平均1亿像素，可以提供从桌面显示器到无眼镜的3D电影系统全角度180度观看。

 

 

如今，这些3D显示器仅次于可提供更高的单色分辨率的2D显示器。虽然如此，但3D显示器可以提供更好的主观分辨率，特别是在涉及手术计划等领域，一位非放射学专家试图通过3D显示器找出最佳方法去接近病灶，然后去除病变组织。

 

正确读取3D图像能够帮助建立正确的医学结构预想图。“你可以更容易地看到功能在相互之间的位置，”Balogh将数据放在3D显示器上说，“对比材料的更大吸收会使背面的结构看起来比实际在前面的结构更明亮，更具对比度。”

 

另一家致力于3D显示技术的公司LightSpaceTechnologiesSIA.的首席执行官IlmarsOsmanis表示，传统的3D图像显示器经常使用眼镜，在协作环境中经常会遇到问题。他补充说，两米以下的短距离观察也可能导致眼睛疲劳和不适。

 

Osmanis谈到，他的公司提供的体积，全息或光场显示测试已经进行了实时血管造影和分子水平3D扫描和模拟。其他测试计划使用3D深度测绘相机和图像显示以及图像引导机器人手术进行3D内窥镜检查。他认为，总体而言，医学和生命科学中有更多使用3D成像和数据的趋势。“应用肯定在增加。然而，最大的问题是立体3D系统很多人感觉会让眼睛不舒服。

 

 

“在智能眼镜中可以找到不同类型的3D成像和显示器，智能眼镜是Google，Microsoft和其他公司生产的设备类型。因为这些是可穿戴消费设备，所以它们可以大量生产。这将使它们比替代品便宜，并且可能成为像智能手机一样更有用的应用。虽然到目前为止，这些设备尚未进入大规模生产，但未来可能将会出现更低的价格和更强大的功能。

 

这些可穿戴设备具有透视显示器。如果他们向双眼呈现数据，就可以轻松处理3D图像，此外这些可穿戴设备还具有能够在各种情况下：从实验室或计划外科手术的办公室，到外科手术过程中的手术室内，都可以轻松处理图像的优点。

 

挪威奥斯陆大学医院干预中心正在研究微软HoloLens在医学中的应用。该中心和IT公司SopraSteriaGroupofParis赢得了微软的奖项，他们将HoloLens用于手术规划的虚拟3D模型。

 

“通过使用良好的深度感知和准确的3D模型，可以设定一个不像传统计划那样保守的更为精确的计划，”干预中心医学控制论和图像处理主管OleJakobElle说。“透视眼镜提供了增强现实的可能性，其中一组外科医生看到对方，他们可以同时可以在规划/决策过程中与相同的虚拟模型进行互动。”

 

BjørnEdwin教授是一名外科医生，在干预中心腹腔镜下进行肝组织切除，他与Elle及其技术团队以及SopraSteria的开发人员合作，创建了一个在HoloLens上可视化的3D解剖图，用于规划如何最好地从肝脏中移除肿瘤。“这项技术很有前景，可以作为规划的有用工具，以后可能在手术过程中提供指导，”埃德温说。

 

HoloLens显示从适当的来源获得的信息，它可以根据成像的内容而变化。“[3D成像]CT和MRI在大多数情况下已经达到了足够的精确度，可用作3D心脏模型的数据源，”奥斯陆大学医院儿科心脏病学顾问和3D心脏可视化研究员HenrikBrun说。“非常小的儿童的心脏以及心脏瓣膜精细的结构是最大的挑战，CT和MRI不能很好地显示它们，但3D超声更好。我们目前的挑战是为HoloLens中3D超声图像的可视化建立良好的工作流程，“他说。

 

目前，透视可穿戴设备受到有限角度视野，以及不能在所有情况下使用，例如当环境光淹没所显示的内容时的影响。此外，透视可穿戴设备还存在符合人体工程学的问题：供应商难以将足够的功能和电池放入必须小巧轻便以便能够舒适地佩戴数小时的形状因子中。

 

希望通过持续改进能够克服这些问题，透视显示的一个潜在显著优势是混合现实，其中虚拟或合成对象可以与真实对象交互。在医学中，这意味着CT或超声生成的图像可能能够覆盖患者的活组织，实时显示结构，否则这些将是不可见的，因为超出了今天系统的能力，但未来显然可能并非如此。

 

最后，这项3D成像和可视化活动背后的成因是它们在许多领域都很有用。开普勒大学的Fellner指出，医生正在使用3D技术来创建骨折骨折和其他骨病变的真实图像。面部外科医生使用3D技术来规划手术，心脏外科医生也是如此。通过这样做，他们可以帮助患者取得更好的结果。

 

他预测，未来Fellner可能会将大型可视化显示用于教育目的，但对于其他应用程序来说情况并不一样，“此外，在未来，3D可视化的实时应用可以在外科手术中使用，例如使用HoloLens等的CT和MRI数据集的实时3D渲染。”