网站建设的作用有哪些方面,如何屏蔽百度广告推广,wordpress大学,c语言做的网站有什么优缺点作者#xff1a;蒋志强 本人同意他人对我的文章引用#xff0c;但请在引用时注明出处#xff0c;谢谢#xff0e;作者#xff1a;蒋志强
前言 近期整理了一下彩超前端及波束合成相关的内容#xff0c;很早以前已经有过一次#xff0c;这次把其它的内容总结一下#xf…作者蒋志强 本人同意他人对我的文章引用但请在引用时注明出处谢谢作者蒋志强
前言 近期整理了一下彩超前端及波束合成相关的内容很早以前已经有过一次这次把其它的内容总结一下又做了不少仿真和实验以便大家能直觀的理解希望对朋友们有所帮助。 内容覆盖 发射声场声场传播声场交互Grating lobe, Side lobe,PSF回波信号接收接收聚焦孔径与变迹MLAMLTRTB回溯波束合成RTB问题与修正Diversed Wave发散波Plane Wave平面波 Focused Wave聚焦波HFPS(高帧率成像)合成孔径(Synthetic Aperture)大孔径发射小孔径发射系统设计与工程考量其它... 导读说明
本文以叙述说明的方式科普相关知识涉及到相关知识点的段落时留意前面用蓝色加粗字体提示。为了形象直观的描述问题我做了大量的模拟仿真实验目标读者是相关实验室同学或新进入彩超领域的同事理解大家先记住结论很多关键细节的内容我无法在文中展开。大家在一线工程实践中自然就明白了。
如果你是彩超系统工程师不管是偏FPGA或偏SW的系统工程师欢迎你留言提出各种意见与建议。 正文内容 发射声场 超声探头本身包含数以百计的element我们在发射声波时可以逐个控制阵元的发射延时和电压从而控制声场。概念上波束合成包含两部分一个是发射另一个是接收
我们可以抽象为以下传递函数 Beam Func_rx(Interaction(Func_tx(signal),tissue))
Func_tx是发射部分它直接决定了声场的情况。我仿真了一组声场我们先直观的感受一下声压在组织中的传播所形成的声场见下面的视频 我的声场仿真动画 如果视频点不开就看图吧从左看到右靠脑补动起来 我的声场仿真不动的画 这组仿真是一个64阵元的小探头(按常规的相控阵配置的声场区域长宽都是4厘米发射聚焦在2厘米的深度2个Cycle的激励2MHz的发射频率。实际上声场本身是机械波的传播过程在传播过程中会与组织发生交互在各个位置上不断发生反射折射散射衍射。上面大家看到的声场中没有任何反射等交互是因为我们仿真的是在水中传播的情况没有任何的物质。但我们可以看到由于控制了发射延迟让所有的阵元的声波同时到达2厘米处在2厘米处波束很窄很集中在焦点前后逐渐远离发射焦点的地方波束逐渐变宽。 Grating Lobe
在上面的例子中声场传播需要一段时间为了简单便捷的表示声场我们一般通过在空间上计算beam profile来描述波束。现在我们来仿真一个同样的相控阵探头3MHz的发射但是不再是正向下而是向左偏转45度。 我们向左偏转45度的beam profile仿真
为了便于直观查看我调整到了一个合适的动态范围。细心的朋友能留意到波束右侧有一个小的能量分布那部分杂波能量我们叫为Grating Lobe栅瓣它会带来grating lobe artifact。如我们仿真的情况你扫查的是左侧45度而如果grating lobe处有组织的强反射这部分信号将混入到我们后面的接收波束合成中导致右侧栅瓣的组织出现在左侧45度的地方。grating lobe与发射频率探头阵元的间距相关。一般情况下只要它偏得比较远在成像区域外我们就可以不去理会它否则你要考虑一下这个特定的探头换个发射频率或者缩小成像区域。
一副二维图通常需要 重复我们仿真的那种发射若干次下图左绿线所示才能完成一副成像如下图绿线所示。 别人的相控阵图像
我们模拟一下上图相控阵探头的二维扫查直观感受声场能量分布变化 我们在2D扫查中的beam profile模拟仿真动画 如果视频点不开还是看图吧靠脑补动起来 仿真完整一副2D相控扫查beam profile不动的画
线阵探头的情况也类似只是线阵扫查时发射一般不偏转或者偏转较小如空间复合穿刺增强时偏转较大是比较特殊的情况穿刺增强可能会引入较大grating lobe伪影。
下面我仿真一个128晶元的线阵3.8厘米宽度的线阵探头进行完整一帧图像扫查的声场情况 顶部白线区域表示探头孔径绿线位置表示发射时实际激励晶元的位置。 注意对比一下相控阵探头偏转时的grating lobe线阵就会小不少。 聚焦波/平面波/发散波
目前为止我们的发射都是聚焦在FOVField of View内实际上我们的发射聚焦至少可以有三种以上
1. 焦点在FOV内聚焦波Focused Wave
2. 焦点在无穷远即无焦点平面波(Plane Wave)
3. 焦点在探头后面发射波(Diversed Wave)
4. 其它
我在相同的探头相同的孔径用相同的激励波形以不同聚焦方式仿真对比一下相同的FOV下的声场如下图 几种发射用在成像上各有不同的特性。我先暂时用聚焦波为大家说明因为目前仍有很多产品使用聚焦波稍后在波束合成时再用平面波与发散波进行一下对比分析。
By now,我们控制了基本的发射有了声场我们来看看接收后的情况。我们能够接收到信号来源于扫查目标中有声阻抗的变化如果一个无穷大的水槽我们将什么信号都收不到所以我们模拟几个靶点。
我们这次模拟的是一把128阵元宽度为3.8厘米的线阵7MHz的发射频率中央正下放配置几个理想靶点体积无限小足够的强幅度类似于数学中的delta function)对于接收到的信号逐点计算延迟曲线进行接收聚焦如下图所示 扫查示意图左模拟动态接收聚焦成像右 声场传播声场交互
当声场中有了反射点时声场就会与这些反射点发生交互常见的反射衍射折射等。下面我用一个192晶元的线阵外加一个反射点模拟一下这个交互过程用红色标注处是反射点位置。大家留意声场的交互过程 回波信号接收 上面的交互过程的反射信号被探头接收转换为电信号后就是我们说的通道数据。下图是上组实验中接收到的信号 怕大家看不清楚红色框内我拉大了显示 每个通道的信号基本长得和激励发射时的波形一样。实际上这是不对的因为彩超系统不是线性系统且声音在传播过程中也是非线性的波形也会逐步发生畸变所以我们的仿真不是太真不过基本够用。你一认真就输了。 Side Lobe
我们再回到靶点体模图注意到有点靶点两侧有小的震荡这是我故意配置动态范围比较夸张为了说明Side Lobe的影响。其实各个靶点都有只是明显层度而已在这个动态范围下比较明显。如果不想出现得太明显的Side Lobe改改配置就不那么明显了。 接收聚焦孔径
在发射端我只给了一个延迟曲线和焦点但接收我们可以根据深度变化每个点的延迟曲线都可以单独计算所以叫动态接收聚焦Anyway,在工程上常常为了省资源分成很多小段一小段使用一组接收延迟曲线由于越远的地方信号越弱越近的地方信号越强但杂波多我们一般保持成像的深度与使用的接收阵元的个数探头孔径的比值为一个常数即F#焦径比焦点与孔径大小的比值。
距离越远成像需要开的孔径越大。大家还记得2019年与2021年EHT观察距离我们5500万光年的M87星系中心黑洞时雷达的理论抽象孔径虽然达到了1.2万公里即地球直径但F#仍高达4.3X10^16,看不清是正常的要知道我们上面成像仿真中F#1如下图 成像系统F#比较 回到我们的超声成像右侧图像基本反映了我们的实际扫查结构但大家请留意除了发射焦点深度(2.5cm)上聚焦比较理想其它深度都比较差我们预期远离焦点位置会差一些但结果也太差了。主要原因是我们还没有做遍迹Apodization 变迹(Apodization)
所谓Apodization是指探头在发射/接收信号时给与不同阵元不同的权重从而使得波束合成的效果更好。根本原因是阵元具有指向性垂直阵元方向上信号不管发射还是接收端SNR最高于是我们赋予更高的权重。我们可以在发射做Apo,也可以在接收做Apo或者两者都做我在Rx时对比一下有无Apo的区别见下图 接收动态聚集无Apo(左)接收动态聚集有Apo(右)
怕看不清楚放大些怼近看 放大看 接收动态聚集无Apo(左)接收动态聚集有Apo(右)
不仅发射接收具有指向性声音作为一种波在与组织交互过程中也存在指向性而并非均匀的球面波而是与发射波阵面的法线夹角成负相关。
Beam Func_rx(Interaction(Func_tx(signal),tissue))
我们再回看波束的抽象函数三个函数都具有方向性给予方向上的权重从本质上符合超声系统的成像原理 点扩散函数PSF
Apodization实际是以Main Lobe稍微变宽为代价换来一级旁瓣大幅压制but anyway还是一笔划算的compromise。上面以理想靶点为输入得到的图像我们常称为PSFPoint Spread Function)。PSF是泛指任意成像系统当输入为一个delta function时它的输出结果成像所对应的抽象函数它描述了成像系统本身如下图所示 PSF示意
在超声成像系统的发展过程中我们总希望成像更快更好。在更快的方向上如果整个二维成像平面的线数一定的情况下我们需要等待声音信号回来这是物理限制于是发展出了MLAMLT等方法下面我们通过模拟仿真来介绍一下 多线接收MLA
MLA即Multiple Line Acquisition之前我们是发射一次接收一条线MLA是发射一次接收多条线。But how, MLA的做法非常简单粗暴只发射一次但按照新的位置进行接收布线并按新的布线位置计算接收延迟曲线。以MLA4为例如下图所示 左1常规接收布线位置与beam profile关系 左2常规接收布线位置与声场关系
右1MLA4接收布线位置与beam profile关系 右2MLA4接收布线位置与声场关系
对于一次发射后接收到的信号放在FIFO里现在使用两种不同的策略的接收Delay Curve进行波束合成左侧是常规合成一条线的方式右侧是合成四条线的方式如下图所示 左图一条线的接收延迟曲线 右图MLA4时的接收延迟曲线
MLA由于忽略了声场能量的不同以及实际发射声场波阵面相位的差异成像的效果可以预料一定会比单线要差。所以我们再强调一下MLA的图像质量退化来源于
1.声场横向位置的能量差异
2.声场波阵面的行程相位差异
回头我们再来从这两方面修正它。我们先看看MLA图像质量下降会有多大呢我们模拟仿真一下让接收布线相同情况下一组波束合成使用单发射单接收一条线另一组单发射多接收MLA4如下图所示 左图MLA1,Tx100,Rx100 右图MLA4,Tx25,Rx100
我们再怼近看在MLA4时靶点会更宽一些Is that true ? 我先给结论
1. 图像品质会下降
2.靶点宽窄会变化取决于所处声场的位置有可能窄有可能宽
为了直观的描述第二个结论我把探头平移一下模拟手持探头向左平移看一下它的变化 Ultrasound MLA4 movement 平移探头动的画
如果视频点不开还是看下面不动画自己脑补动起来 上排NO MLAMLA1 下排MLA4 我们可以看到MLA4在相对运动时靶点明显忽宽忽窄扭来扭去这就是我上面提到的第二点也经常叫做MLA block artifact而在MLA1在相对运动时靶点时稳定的除了在探头边上由于接收孔径不对称造成少量轻微扭曲);
对于这类MLA artifact一般都会做一些Interp或STB进行补偿但补偿的结果是以牺牲横向分辨率换取artifact不可见。这个我应该也模拟一下因为我很懒就不做了。
只有靶点不方便我们系统对比MLA的实际影响我做一个完整的体模比较有靶点组织及对比分辨率靶球如下图所示 左图常规体模 Tx160MLA1, Rx160 右图常规体模 Tx40MLA4, Rx160 从这个对比大家就很好理解为什么多MLA的图像下降叫做block artifact非常形象。 发射回溯波束合成RTB
下面我对比一下效果好一些的修正MLA artifact的方式Recursive Transmit Beamformation(RTB)这种方式能帮助在做多MLA时不牺牲横向分辨率。RTB是95年左右Freeman与ODonell老师和Pai-Chi Li 老师最早在论文里提出的思路后面两位老师做彩超的朋友应该都比较熟悉。大概二十年前2003还是2004有点记不清了Jensen老师学超声的朋友应该都很了解首先在实验室里搭建了以此思路并完成合成孔径的实时平台当时GPU还没有发展起来FPGA也很难做到印象中是50块Xeon CPU并连的工程方案现在想起来还是要给他们实验室点个大大的赞。
RTB的原理很简单由于多MLA问题本质是忽略了不同接收线在声场中波阵面的不同相位所以解决方式就是不要忽略它。我们还是以MLA4为例其它情况类似我画个示意图如下 我画的个示意图
黑色弧线表示某时刻声场波阵面的同相位处我们这一次发射准备接收信号以后合成四条扫描线即MLA4图中标注L1-L4。这四条接收线使用同样的接收延迟曲线Delay Curve 1-4。但严格来讲该时刻延迟曲线只对图中的红色点是正确的因为波阵面正处于红点的中心。只有当波阵面处于黄色点中心时该延迟曲线才应该去合成L2,L3上的黄色数据点同理只有当波阵面处于蓝色点中心时该延迟曲线才应该用作合成L1,L4上的蓝色数据点。我们应该在不同时刻的波阵面下去使用该延迟曲线我再画个示意图如下 我再画个示意图
如图所示我们需要让波阵面回退到黄色位置时去合成那L2,L3的那两个点需要波阵面回退到蓝色位置时去合成L1,L4的那两个点。我们只要在接收的通道数据里提早或延后一些就等效于波阵面不同的时刻实现了波阵面回退或前移。这就匹配RTB名字的意思了即回溯发射波束合成。
为了对比更明显一些我以MLA8的情况进行比较如下图所示
PS:下面这个图有问题但我换电脑时这组数据找不到这组实验我不打算去改正了。大家正好可以从结果上来找找错。文章后面部分我会换新数据再做 MLA8 comparison between without RTB and with RTB 看上去似乎差别不大但留意焦点位置在2.5 cm深度位置的变化。在越远离焦点的位置波阵面会越来越接近平面波所以回溯的差别不大在越接近焦点的地方差别会越大。这个里面有一些特殊的处理我就不展开了。我做成视频切换着对比我们就看得更明显一些如下视频 MLA8 with and without RTB MLA8 without RTB and with RTB 切换
由于聚焦波在焦点附近无声区的存在如果保持接收布线密度不变的情况下进一步加大MLA数量则会让X形的黑色区域更大更明显。当然我们可以在后面做合成孔径Synthetic Aperture时系统工程师费点心其实也不是太恼火做一些特殊处理把这个问题修正一下。
当然这是聚焦波特有的需要特别处理的地方平面波和发散波由于声场内没有聚焦不存在无声区做高倍数的MLA时工程上更简单点。 HFPS(高帧率成像), 平面波发散波
由于换新电脑之前一些资料找不到了换个更炫酷的体模来仿真 下面我做个极端例子使用128晶元线阵探头平面波发射只做一次发射打开全部晶元波束合成时接收MLA512覆盖整个成像区域情况如下 相同的情况换作发散波单次发射打开全部晶元MLA512,覆盖全区域结果如下 左体模 中单次全孔径平面波 右单次全孔径发散波 扩散波与平面单次发射全区域成像结果比较类似。我们可以发现这两种发射由于成像区域内没有焦点也就不存在无声区即使我做到512的MLA覆盖4厘米的宽度也不会出现暗黑的无声区域。另外大家应该留意到MLA的BLOCK格子也不会存在。因为声压全场统一不会由于不同的MLA线处声压强度导致MLA线实际位置横向偏移同时这种极端扫查情况下帧速率FPS可以做到每秒几千甚至上万。可以把这样的优势用在需要高帧速的场景更精细的运动追踪时间解析度更高的造影等等。
但缺点也很明显grating lobe伪影明显信噪比低分辨率差等。在实际系统设计上我们肯定使用更小的孔径更少的MLA多次发射降低FPS来平衡图像品质。 合成孔径Synthetic Aperture
与平面波相比扩散波非常类似唯一的不同是非全孔径发射时在后续的合成孔径处理中平面波需要扭转方向来提供不同波阵面的方面而扩散波不必如此它天生确保了波阵面的方向不同有利于合成孔径。
在具体说合成孔径之前大家先看效果对比一下有个直观印象先。下边右图是进行23组合成孔径的效果偏转角度从-15度至15度发射是全孔径激励的平面波的成像结果中间是单次平面波无偏转全孔径激励的平面波的成像结果左图是原始体模 合成孔径对超声图像的提升是显而易见的。为了更直观的表达下面的动画展示了进行31次合成孔径的处理过程中带来的变化由于旋转了31个角度波阵面各有不同所以每个角度实际上也进行了类似聚焦波的RTB处理效果如下 Synthetic Aperture即合成孔径是成像系统中一个比较广泛应用的成像技巧虽然我们这里将用到超声成像里但实际在雷达射电望远镜声呐等成像系统中广泛应用 合成孔径示意
在我们成像系统中将发射或接收孔径不同的N组信号或者发射与接收都不同的N组信号进行合成用以最终成像就可以被称为合成孔径合成孔径最大的优势在提升信噪比付出的代价是牺牲时间分辨率受组织运动影响明显另外由于靶点反射信号形态与波阵面的法向量相关几个不同角度的信号合成本质上能起到spatial compounding的效果或者说spatial compounding也可以归为合成孔径的范畴这将对收缩靶点的旁瓣提升信噪比有良好的帮助 合成孔径在彩超产品上的实际情况
在常规成像过程中一般不会像上面实验那样打开全孔径一般都是小孔径多次重叠发射较小的MLA大部分情况不超过32合适的合成次数部分情况不超过16降低FPS大部分场景用不上几千帧的FPS除了几个特别应用例如shear wave追踪运动可视化或HFPS的造影,以减小side lobe以及运动对合成孔径带来的影响。
做在产品中一般有两条技术路线
1. FPGA工程路线 优势减小了软件端的压力避免了PCI-E传输的压力和成本。在通过WIFI传输的手持类系统中有着得天独厚的低成本低数据传输压力的独特优势 缺点可扩展性可调试性后期高端应用的扩展性弱
2. SW工程路线 优势可扩展性可调试性高端功能的扩展如通道内运动追踪补偿的波束合成自适应计算的波束合成打开了后期中高端产品的性能上限 缺点成本一般高于FPGA方案对数据传输接口数据率有较高要求对高频超高频探头的应用不友好例如CMUT/PMUT等高频/超高频探头 从长远来看两种技术路线各有长短我们需要用发展的眼光来看待。
FPGA的扩展性调试性会随着技术的发展而进步有一个接近软件端的可扩展可调试性也不是没可能而对软件端而言随着电脑主机的技术发展导致性能逐年提升的同时成本每年都在下降若有一天综合成本接近FPGA方案的低成本我也不会惊讶
对自主研发的厂商来说团队同时拥有两套路线将大大拓展其未来的商业利益 结束语
行业展望
这篇概述文章在一年多以前我就写得差不多了由于时间原因完全整理好就一直没有发出来。
几个月前离开了上一家工作的超声团队正好有时间来整理一下资料给发出来了。希望能够帮到刚毕业或还在实验室学习的彩超领域的同学们。
我个人对国内彩超自主研发团队是充满信心的。从2000年初到现在已经有一批自主研发的工程师成长了近二十年逐步形成了研发梯队。在彩超领域早已不再是仰望国外的年代了甚至在彩超领域的个别项目上已经局部领先欧美日的研发。
彩超这个复合学科高技术门槛的领域会不会像手机家电太阳能面板高压输电等领域一样最终由中国人全部自主且领先这个答卷需要年轻一代自主研发人员与我们这批老腊肉来共同作答。
至少我对年轻一代是充满信心的
忙点自己的开发
工作这么些年离职后也闲不下来我发现自己一个人在家开发点东西比在大厂内工作效率高了至少一个数量级每天都思如泉涌。
我打算设计开发一套彩超系统链路工程化的软件框架在设计架构上希望至少不弱于行业内大厂的水准例如不弱于GE挪威团队Steen N. Eric几人开发设计的cSound框架。Flag似乎立得有点高但不push自己一把自己也不知道自己在系统与工程两方面真正的limit在哪里荒废了难得的“空闲”时间。
要保持在心流状态进行研发也必须处在自己能力边缘高标准是必要条件。运气使然我应该是国内唯一一个全面深入研究过cSound框架与工程实现所有细节并在工程上进行大规模拆解重组的工程师。它的设计优势不只是在波束合成这一小块而是在整体架构链路的设计和工程架构上而它的短板如果没有在研发的第一线做过几次自主研发框架的搭建踩过几次坑也不可能想到更无法谈超越了。我恰好同时具备以上条件的工程师只能说是运气好
构思了一阵目前开发已经开始一段时间了研发团队暂时就我一个人。GPT和Bard也参与讨论分析很多也算一个吧GPT比Bard更靠谱一些。AI在综合性系统性的问题设计层面架构层面的问题 还比较白痴但特定技术细节方面的专业深度让我刮目相看给我很多启发在调试中找错的能力也不错表扬一下这免费的优质劳动力
但千头万绪太多事要做感受一下我日常开发中的桌面混乱状态 好的方面是整个可运行的架构缓慢但稳健的逐步成型了不好的方面是我得一会儿做理论分析一会儿去模拟仿真测试一下一会儿思考软件框架写设计文档一会儿做具体代码调试BUG一会儿设计定义资源配置文件反复切换任务经常自己把自己搞蒙了。
但我已经慢慢适应了在这种混乱中乱而有序的推进开发我把这叫做有序的混沌开发WTF。当这一套框架开发到一定阶段时如果不出意外我会把它可运行的软件包放出来与大家共享。
开发到完成基本链路功能算结束常规聚焦/发散/平面波的合成孔径肯定要完成基本B/C/D串联也需要完成CPU/GPU/AVX配置都要能实时运行效率要满足正常产品需求余下的肯定要和团队一起推进。毕竟要完成整个体系是一个团队的工作量。独行快但众行远。
那时正好竞业期也结束了重新出发岂不完美
在2023年底预祝大家来年好运也祝自己的开发在新年一切顺利
