唐山市城乡建设局网站,设计制作商城网站,小城市企业网站建设,郑州设计网页的公司目录 1、前言免责声明 2、相关方案推荐我这里已有的 MIPI 编解码方案 3、本 MIPI CSI-RX IP 介绍4、个人 FPGA高端图像处理开发板简介5、详细设计方案设计原理框图IMX327 及其配置MIPI CSI RX图像 ISP 处理图像缓存UVC 时序USB3.0输出架构 6、vivado工程详解FPGA逻辑设计 7、工… 目录 1、前言免责声明 2、相关方案推荐我这里已有的 MIPI 编解码方案 3、本 MIPI CSI-RX IP 介绍4、个人 FPGA高端图像处理开发板简介5、详细设计方案设计原理框图IMX327 及其配置MIPI CSI RX图像 ISP 处理图像缓存UVC 时序USB3.0输出架构 6、vivado工程详解FPGA逻辑设计 7、工程移植说明vivado版本不一致处理FPGA型号不一致处理其他注意事项 8、上板调试验证准备工作图像输出演示 9、福利工程代码的获取 FPGA高端项目IMX327 MIPI 视频解码 USB3.0 UVC 输出提供FPGA开发板工程源码技术支持 1、前言
FPGA图像采集领域目前协议最复杂、技术难度最高之一的应该就是MIPI协议了MIPI解码难度之高令无数英雄竞折腰以至于Xilinx官方不得不推出专用的IP核供开发者使用不然太高端的操作直接吓退一大批FPGA开发者就没人玩儿了。本设计基于Xilinx的Kintex7-325T中端FPGA开发板采集IMX327 MIPI摄像头的4 Lane MIPI视频IMX327 摄像头配置为 MIPI4 Lane RAW12模式输出有效分辨率为1920x108060HzIMX327 MIPI摄像头引脚经过权电阻方案分出LP电路后接入FPGA的HS BANK的LVDS差分IO采用自定义的MIPI CSI RX解码IP实现MIPI的D_PHYCSI_RX功能输出AXI4-Stream格式的RAW12颜色视频该IP由本博免费提供至此MIPI视频解码工作完成但此时的视频还是原始的RAW12格式远远达不到输出显示要求所以还需进行图像处理操作也就是图像ISP操作本博提供及其完整的图像ISP具体流程包括Bayer转RGB888、自动白平衡、色彩校正、伽马校正、RGB888转YCrCb444、图像增强、YCrCb444转RGB888、YCrCb444转YCrCb422等一系列操作经过ISP处理后的图像颜色饱满、画质清晰输出YCrCb422格式的视频然后再使用本博提供的图像缓存架构将视频缓存到板载的DDR3中再使用本博提供的UVC视频时序将视频从DDR3中读出再将UVC视频送入板载的CYUSB3014-BZXI芯片通过板载的USB3.0接口发送出去CYUSB3014-BZXI芯片在Win10下可以免驱使用用USB3.0数据线连接FPGA开发板和笔记本电脑打开电脑自带的摄像头软件选择本开发板的摄像头即可显示IMX327 MIPI摄像头解码采集的视频了
免责声明
本工程源码只是本博提供的FPGA高端图像处理开发板的测试例程使用本工程及其源码即有自己写的一部分也有网络公开渠道获取的一部分(包括CSDN、Xilinx官网、Altera官网等等)若大佬们觉得有所冒犯请私信批评教育基于此本工程及其源码仅限于读者或粉丝个人学习和研究禁止用于商业用途若由于读者或粉丝自身原因用于商业用途所导致的法律问题与本博客及博主无关请谨慎使用。。。
2、相关方案推荐
我这里已有的 MIPI 编解码方案
我这里目前已有丰富的基于FPGA的MIPI编解码方案主要是MIPI解码的既有纯vhdl实现的MIPI解码也有调用Xilinx官方IP实现的MIPI解码既有2line的MIPI解码也有4line的MIPI解码既有4K分辨率的MIPI解码也有小到720P分辨率的MIPI解码既有基于Xilinx平台FPGA的MIPI解码也有基于Altera平台FPGA的MIPI解码还有基于Lattice平台FPGA的MIPI解码后续还将继续推出更过国产FPGA的MIPI解码方案毕竟目前国产化方案才是未来主流后续也将推出更多MIPI编码的DSI方案努力将FPGA的MIPI编解码方案做成白菜价。。。 基于此我专门建了一个MIPI编解码的专栏并将MIPI编解码的博客都放到了专栏里整理对FPGA编解码MIPI有项目需求或学习兴趣的兄弟可以去我的专栏看看专栏地址如下 点击直接前往专栏
3、本 MIPI CSI-RX IP 介绍
本设计采用自定义的MIPI CSI RX解码IP实现MIPI的D_PHYCSI_RX功能输出AXI4-Stream格式的RAW12颜色视频该IP由本博免费提供该IP目前只适用于Xilinx A7及其以上系列器件支持的 4 lane RAW12图像输入分辨率最高支持4K 30帧IP UI配置界面如下 该自定义IP只提供网表不提供源码但用户依然可以自由使用和使用Xilixn官方的 MIPI CSI-2 RX Subsystem一样没有本质区别因为MIPI CSI-2 RX Subsystem也是看不到源码的MIPI CSI-RX IP资源消耗如下
4、个人 FPGA高端图像处理开发板简介
本博客提供的工程源码需配合本博提供的FPGA高端图像处理开发板才能使用亦或者读者自己拿去移植但本博推荐使用本博客提供的工程源码需配合本博提供的FPGA高端图像处理开发板该开发板截图如下 此开发板专为高端FPGA图像处理设计适合公司项目研发、研究所项目预研、高校项目开发、个人学习进步等场景需求本博之前专门写过一篇博文详细介绍了该开发板的情况感兴趣的请移步那篇博文博客地址如下 点击直接前往
5、详细设计方案
设计原理框图
设计原理框图如下
IMX327 及其配置
本设计使用本博提供的专用SONY公司的 IMX327 MIPI相机该相机输出分辨率达到了1920x1080采用焦距可调的镜头清晰度极高适用于高端项目开发相机截图如下 IMX327 MIPI相机需要 i2c配置才能正确使用本设计调用本博自定义的i2c主机IP实现对IMX327的配置该IP挂载与AXI-Lite总线上通过MicroBlaze软核运行的C语言代码实现配置此外本博还设计了自动曝光程序实时读取IMX327 RAW12像素通过写IMX327对应寄存器的方式实现实时的自动曝光算法使得IMX327在暗黑的环境下也能输出明亮的图像
本博提供的FPGA开发板有两个MIPI CSI-RX接口分别位于P3、P4接口因此可以接两个MIPI相机其中P4接口的相机采用螺丝固定方式连接适用于FPGA开发板需要移动的项目如小车等P3接口的相机采用FPC软排线方式连接适用于FPGA开发板不需要移动的项目如固定检测等具体连接方式如下图
MIPI CSI RX
本设计采用自定义的MIPI CSI RX解码IP实现MIPI的D_PHYCSI_RX功能输出AXI4-Stream格式的RAW12颜色视频该IP由本博免费提供该IP目前只适用于Xilinx A7及其以上系列器件支持的 4 lane RAW12图像输入分辨率最高支持4K 30帧IP UI配置界面如下 该自定义IP只提供网表不提供源码但用户依然可以自由使用和使用Xilixn官方的 MIPI CSI-2 RX Subsystem一样没有本质区别因为MIPI CSI-2 RX Subsystem也是看不到源码的
图像 ISP 处理
本博提供及其完整的图像ISP具体流程包括Bayer转RGB888、自动白平衡、色彩校正、伽马校正、RGB888转YCrCb444、图像增强、YCrCb444转RGB888、YCrCb444转YCrCb422等一系列操作经过ISP处理后的图像颜色饱满、画质清晰输出YCrCb422格式的视频图像 ISP 处理在工程 Block Design中如图 这些IP均为Xilinx的免费IP有的需要配置才能使用在MicroBlaze软核运行的C语言代码已经提供了配置程序
图像缓存
本设计使用本博提供的图像缓存读写IP实现视频缓存该IP由纯verilog代码实现用户接口为AXI4-Stream可替换Xilinx官方的VDMA本博已将他封装为自定义IP图像缓存模块IP在工程 Block Design中如图 需要注意的是图像缓存架构需调用Xilinx的 MIG IP才能实现与DDR3的物理层交互
UVC 时序
UVC 时序用于控制视频读出DDR3的时序然后将读出的视频送入 USB3.0输出架构UVC 时序很简单与常用的VGA时序差不多由纯verilog代码实现将模块顶层代码拖入 Block Design中如图
USB3.0输出架构
UVC视频送入板载的CYUSB3014-BZXI芯片通过板载的USB3.0接口发送出去CYUSB3014-BZXI芯片在Win10下可以免驱使用用USB3.0数据线连接FPGA开发板和笔记本电脑打开电脑自带的摄像头软件选择本开发板的摄像头即可显示IMX327 MIPI摄像头解码采集的视频了打开笔记本电脑的设备管理器即可看到本开发板的USB3.0设备如下 打开电脑自带的摄像头软件后输出如下
6、vivado工程详解
FPGA逻辑设计
开发板FPGA型号Xilinx–Kintex7–xc7k325tffg676-2 开发环境Vivado2019.1 输入IMX327摄像头–MIPI–4 Lane–RAW12-1920x1080 输出USB3.0分辨率1920x1080 应用FPGA高端项目IMX327 MIPI 视频解码 USB3.0 UVC 输出 工程Block Design如下 由于调用IP较多分散开来很不好看也不利于阅读本博将一些IP进行了再封装如下图中红框标记部分该封装只是形式上的好看而已没有特殊功能可以通过如下方法将其展开查看里面的详细组成和结构如下 工程代码架构如下 工程的资源消耗和功耗如下
7、工程移植说明
vivado版本不一致处理
1如果你的vivado版本与本工程vivado版本一致则直接打开工程 2如果你的vivado版本低于本工程vivado版本则需要打开工程后点击文件–另存为但此方法并不保险最保险的方法是将你的vivado版本升级到本工程vivado的版本或者更高版本 3如果你的vivado版本高于本工程vivado版本解决如下 打开工程后会发现IP都被锁住了如下 此时需要升级IP操作如下
FPGA型号不一致处理
如果你的FPGA型号与我的不一致则需要更改FPGA型号操作如下 更改FPGA型号后还需要升级IP升级IP的方法前面已经讲述了
其他注意事项
1由于每个板子的DDR不一定完全一样所以MIG IP需要根据你自己的原理图进行配置甚至可以直接删掉我这里原工程的MIG并重新添加IP重新配置 2根据你自己的原理图修改引脚约束在xdc文件中修改即可 3纯FPGA移植到Zynq需要在工程中添加zynq软核
8、上板调试验证
准备工作
需要准备的器材如下 FPHA开发板 IMX327 摄像头 笔记本电脑
图像输出演示
图像输出演示如下 图像输出演示 9、福利工程代码的获取
福利工程代码的获取 代码太大无法邮箱发送以某度网盘链接方式发送 资料获取方式私或者文章末尾的V名片。 网盘资料如下
