中建西部建设西南有限公司网站,网络营销的基本概念,网站导航设计欣赏,营销型企业网站系统模板下载前言
随着技术的发展#xff0c;医学影像作为科学技术的主要成就之一#xff0c;在无创诊断和治疗领域已经有了多种应用。其中一个应用是内窥镜#xff0c;在20世纪90年代#xff0c;当利用电荷耦合装置将图像传输到显示器上成为可能时#xff0c;内窥镜变得更加广泛。为…前言
随着技术的发展医学影像作为科学技术的主要成就之一在无创诊断和治疗领域已经有了多种应用。其中一个应用是内窥镜在20世纪90年代当利用电荷耦合装置将图像传输到显示器上成为可能时内窥镜变得更加广泛。为了帮助医生更好地识别和定位病灶厂商不断提高内窥镜的分辨率人体医疗内窥镜的分辨率从1080P逐渐发展到如今的4K。除此之外荧光和3D技术都被创造性地加入以进一步帮助医生更准确地诊断人体并进行手术。日前工信部在《医疗装备产业发展规划 (2021-2025年) 》中对医疗装备重点发展、突破方向作了详细规划其中包含了要重点突破医用内窥镜等影像诊断设备的战略目标。 技术挑战
在临床环节中内窥镜应用允许的最大图像延迟在50至150毫秒之间。然而对于外科手术来说内窥镜需要实时或接近实时地做出反应同时执行图像校正、色彩噪声修复、边缘增强、缩放等功能。此外该应用的终端应该尽量小巧显示具备4K清晰度3D荧光并支持SDI/HDMI接口。4K只需要一个高清摄像头而荧光和3D分别需要额外的一个高清摄像头这也对核心板资源、数据传输和处理速率、算法效率提出了挑战。 解决方案
以FPGA SoC为核心技术的内窥镜系统可以做到实时4K视频流。4K图像传感器负责捕捉图像信息而图像的信号处理则由Mercury XU8 FPGASoC模块完成。捕获的视频流被送入Mercury XU8 FPGASoC模块进行图像预处理然后通过图像管理和存储单元将处理后的高清图像通过显示接口呈现在高清显示器上供外科医生观看。长期占据赛灵思首页的Mercury XU8核心板提供XCZU4CG、XCZU5EV、XCZU7EV三个型号用户在需要更多资源时可选择更高端的型号升级换代简单便捷。 水星Mercury XU8核心板 结构框图
除了Mercury XU8 FPGA (SoC)还有其他的SoC可以考虑用来实现这一应用例如Mercury XU5, Mercury XU9。使用Mercury XU8 FPGA (SoC)模块可以实现硬件系统的高度集成大大缩短开发时间。同时通过支持各种外围接口可以更加快速方便的实现未来的功能更新和扩展。由于瑞苏盈科庞大的产品序列用户可在Xilinx Kintex-7、Zynq-7000、Zynq Ultrascale MPSoC等系列的多款核心板模块中进行选择。核心板模块在其系列火星Mars、水星Mercury、仙女座Andromeda内与其他大部分核心板管脚兼容这意味着用户还可以规划明确的升级路径升级换代时所付出的工程量大大减小甚至可以在项目开发的过程中临时更改核心板型号。FPGA核心板模块最低预期生命周期为10年以上同时在设计硬件时着重考虑产品前瞻的可用性和性能所有产品均可长期交付。 核心板模块系列 FPGA现场可编辑门阵列作为赛灵思Xilinx的一项重要发明以其可编程和灵活性著称。起初FPGA只是用来仿真ASIC再进行掩码处理和批量制造使用。不过ASIC相比FPGA来说明显在定制化上要求过高流片量过小情况下成本反而更高因此两者毫不冲突地“各司其职”。而后随着加速器的出现和算力提升目前已成为与GPU齐名的并行计算器件。 如今FPGA已进发数据中心领域相比CPU和GPUFPGA所需器件更少功耗也更优。赛灵思依靠其“数据中心优先”、“加速核心市场发展”、“驱动自适应计算”的三大战略加持下使其ACAP平台和Alveo加速卡在数据中心市场极具竞争力。 除此之外赛灵思曾为笔者展示过其云服务商领域的“一体化SmartNIC平台”、消费领域的“FPGA TCON”方案、工业领域的Zynq SoC系列方案。 实际上根据赛灵思透露医疗领域已占据赛灵思营收非常重要的比重并且一直在11%-15%的速度增长。那么赛灵思是依靠什么FPGA产品占据的医疗市场FPGA器件在医疗设备中扮演什么角色 日前赛灵思为记者介绍了近期在医疗科学和医疗设备方面的成果21ic中国电子网记者受邀参加此次采访。 FPGA器件能用在什么地方 信息显示全球人均医疗支出每年都在增长随着人口老龄化加剧消费者对医疗条件和医疗成本都有着极高的预期。另一方面随着疫情的爆发市场对病情的及早发现和诊断的快速分析有了更高的要求这就需要医疗器械成本的进一步降低和算力的提升。 FPGA器件自身拥有可编程特性借助这种优势可避免ASIC器件前期高昂的一次性工程费用消除最低订单数量和多芯片迭代风险和损失。医疗行业本身是与科技发展联系最为紧密的行业之一伴随FPGA器件的不断迭代升级更多新设备出现引领了新的治疗方法、治疗途径、治疗理念的改变。 赛灵思医疗科学全球业务市场负责人Subh Bhattacharya 根据Subh Bhattacharya的介绍赛灵思的FPGA器件在医疗领域的应用主要分为三类临床、医疗成像和诊断分析。 01
临床环境 临床设备数量大种类多因此需要灵活性极强的FPGA。需要注意的是部分设备直接影响患者生命安全对启动速度、安全稳定性、时延要求极高部分设备在便携性上则有一定要求对功耗、小尺寸有很大需求。 根据Subh的介绍在临床方面赛灵思的Zynq UltraScale MPSoC下文简称为“ZU MPSoC”是一个高度集成的平台集成多个处理器拥有可编程逻辑此外还集成了信息安全和功能安全功能。Subh强调这个技术平台的强大功能和性能非常适合在临床环境应用之中包括从云端到边缘。 Subh为记者展示了几个利用该平台解决临床环境的实例 其一是赛灵思与Spline.AI和AWS亚马逊云服务合作开发的医疗AI利用ZUMPSoC的ZCU104平台作为边缘设备实现的高精度低时延的医疗X射线分型深度学习模型和参考设计。该方案可独立自主根据Chest X-Ray预测疾病也可预测COVID-19和肺炎也可开发定制模型供临床使用。另外ZCU104支持开源语言PYNQ语言下开发也可借助AWS IoT Greengrass实现进一步的扩展和部署。该方案发挥了ZU MPSoC的高性能和扩展性赋予了低成本医疗设备高精度的诊断。 其二是赛灵思为奥林巴斯内窥镜核心技术提供支持。该方案发挥了ZU MPSoC在启动速度、功耗和低时延的特性。 其三是赛灵思为Clarius超便携高性能超声波系统。该方案发挥了ZU MPSoC片上双ARM处理器和FPGA的小尺寸封装特性实现了超便携。 究其历史Zynq SoC是赛灵思在2011年推出的全球首款集成ARM内核的产品彼时该平台称为“可扩展的处理器平台”主要是为了将市场扩展到嵌入式应用之中。此前FPGA多用作辅助芯片自从引入更多功能的集成SoC平台之后ARM GPU、数据安全处理器、功能安全处理器都被集成在单芯片之中。Subh表示经过这样的转型之后赛灵思从每年5%-6%的收入增长实现了到14%-15%的收入增长2.5倍的增长率全要归功于这样的技术平台。 除此之外Subh还为记者展示ZU MPSoC在医疗安全上的解决方案。“目前全球安装的医疗物联网设备超过1亿台到2020年将增长到1.61亿台。医界高管认为 59%隐私问题 55%老旧系统集成和54%安全问题是阻碍当今医疗机构采用物联网的三大障碍。” Subh表示赛灵思可以利用可编程平台不断适应新的安全防护措施这种升级囊括了软件和硬件。最终体现在SoC上的就是认证与加密启动、安全启动、测量启动、安全应用通信、基于云的监测等功能。 02
医疗成像 大型医疗成像设备使用FPGA器件已经是基本操作Subh为记者介绍在医疗成像方面主要包括CT、超声、X射线、PET、MRI扫描仪等。 对于医疗成像Zynq UltraScale MPSoC同样适用。Subh表示除此之外还有Versal ACAP这个系列可以理解为下一代的MPSoCVersal ACAP在成像领域具有非常大优势。 Versal ACAP除了拥有ARM多处理器集成、可编程逻辑、DSP以外还加入了AI引擎即SIMD、VLIW这样的单元可以支持很多类似操作的平行处理。 Subh为记者展示了超声波图像重构与计算机辅助诊断的方案利用赛灵思的软硬件支持能够降低功耗和热度范围、降低解决方案成本、延长设备使用寿命、低时延边缘推断虽然市场非常复杂赛灵思的技术也能够大大提高生产力。 03
诊断分析 Subh表示除了SoC和FPGA赛灵思还提供即插即用的Alveo加速卡正因这是一种PCle的解决方案因此可以大大降低开发时长。根据介绍Alveo加速卡适用于任何通用PC既可以加速CPU的普通任务也可以加速其他的GPU的任务最终实现高吞吐量和超低时延。其独特的算力和灵活应变能力可以大大加速很多的医疗应用。 联影医疗United Imaging是一家中国公司这家公司在使用Alveo U200加速卡替代传统GPU时发现Alveo的技术成本更低、功耗更低并且无需牺牲任何性能或是开发进度。 FPGA vs. CPUGPU 医疗设备中使用CPU或者GPU产品的方案也屡见不见为何FPGA拥有如此卓著效果甚至有着替代CPU和GPU的“魔力”实际上CPU和GPU都属于冯诺依曼结构FPGA能够突破结构上的限制因此拥有极强的能效。 具体来说CPU和GPU需要使用SIMD单指令流多数据流来执行存储器、译码器、运算器、分支跳转处理逻辑等FPGA则在烧写时已经确定每个逻辑单元的功能因此不需要指令另外CPU和GPU在内存使用中是共享的因此就需要访问仲裁执行单元间的私有缓存使得部件间要保持缓存一致性同样在烧写过程中FPGA已明确通信要求因此无需共享内存进行通信。 得益于此FPGA拥有极强的浮点乘法运算能力而且对比同样是浮点运算的GPU延迟更低。这是因为FPGA同时拥有了流水线并行和数据并行而GPU只有数据并行。 从算力上来说赛灵思还将FPGA器件转变为了SoC进行加速和自适应。赛灵思在加速上通过标量引擎实现包括ARM、应用处理器和实时处理器而自适应引擎的核心便是可编程逻辑器件FPGA另外还配备智能引擎目前配备的是DSP。特别是在Versal ACAP的平台上还会将会有AI引擎进行支持进一步进行加速和自适应。 “在医疗领域诸如内窥镜这种应用手术中患者拥有一个共同的要求就是时延非常低甚至需要实时来完成。从摄像头捕捉图像经过管线处理再到显示屏可能不到20微秒的时间。CPU和GPU达不到FPGA如此低的时延因此这就是FPGA相比CPU和GPU的最大优势”Subh继续为记者介绍从功耗、成本和集成上赛灵思SoC的FPGA也拥有更好的优势。 “很多领域诸如视觉化GPU使用很多年了FPGA并不是做不到不过我们还是会专注在优势的领域即在封闭空间内做数据移动而非断断续续的内存上传的情境”Subh坦言。 不同层面分析FPGA在医疗的应用 能够在医疗领域兼顾拥有业界领先的AI时延与性能生命周期延长、高质量、高可靠性、高安全性实时、确定性控制与接口的仅赛灵思一家。 赛灵思除了提供FPGA和 SoC这样的硬件器件及平台以外还专门为降低FPGA 开发门槛满足广泛市场应用需求量身定制了Vitis AI统一软件平台。之前笔者也曾多次介绍这款软件平台算法工程师无需硬件设计经验也可直接应用算法的实现。 赛灵思的医疗解决方案帮助了Illumina对重症新生儿做基因组分析为ICU患者和重症患者加速推进eyetech的基于眼球追踪的沟通平板电脑与迈瑞合作以抗击新冠疫情。FPGA就是在不经意间为生命增添了一份敬畏。 笔者认为赛灵思的FPGA器件从高性能加速和自适应两方面着手成为了其在市场立足的最大竞争力。一方面FPGA、ARM、应用处理器、实时处理器、DSP、AI引擎利用片上系统SoC和软件进行高度集成既增强了算力也增强了应用的扩展性另一方面FPGA本身拥有的低延时性对于时延要求极高的医疗领域可以说是“天生一对”。 从市场上来分析随着疫情的爆发医疗设备市场需求持续增加其中不乏大型数据分析和便携性要求极高的设备这刚好吻合了FPGA SoC的特点。另一方面医疗水平的提升和市场马太效应之下更具能效和低功耗优势的FPGA产品需求量持续增加。 从软件上分析赛灵思的Vitis平台适用于不同人群包括熟练掌握HDL语言的硬件工程师熟练掌握各大编程语言的软件工程师也适用于熟练掌握TensorFlow、Caffe、PyTorch的算法工程师。利用这种灵活性可以让许多有创意的初创公司有了施展拳脚的可能。 通过赛灵思的介绍可以说无论是大型设备还是便携设备FPGA都有其一席之地。 未来赛灵思医疗创新之路该如何发展Subh表示在医疗产品上赛灵思将不断提高集成度并降低封装尺寸另一方面将会不断发展异构计算提高效率和性能。
