开淘宝店和自己做购物网站哪个好,360怎么变成建设银行首选网站,中国建设银行网站企业网银,注入漏洞网站源码1.场景
基于特权A7系列开发板#xff0c;采用OV5640摄像头实时采集图像数据#xff0c;并将其经过USB3.0传输到上位机显示。这是验证数据流能力的很好的项目。其中#xff0c;用到的软件版本#xff0c;如下表所示#xff0c;基本的硬件情况如下。该项目对应FPGA工程源码…1.场景
基于特权A7系列开发板采用OV5640摄像头实时采集图像数据并将其经过USB3.0传输到上位机显示。这是验证数据流能力的很好的项目。其中用到的软件版本如下表所示基本的硬件情况如下。该项目对应FPGA工程源码qt工程源码以及USB固件的下载地址
软件版本QT5.15.0Vivado2020.2FX3 SDK1.3.4 器件 型号 厂商 FPGA XLNX-XC7A35T-FTG256 赛灵思 DDR3 MICT-MT41K128M16JT-96 镁光 USB控制芯片 CYUSB3014-BZXI 赛普拉斯 摄像头 OV5640 豪威科技 2.架构 如图所示为该小项目的基本架构。其硬件部分由摄像头采集模组、DDR3存储芯片、FPGA芯片、USB控制芯片组成。软件部分包括FPGA数据采集处理代码、CYUSB3014应用固件、QT上位机软件三个部分组成。其中FPGA数据采集处理代码主要包含了摄像头配置模块含图示SCCB驱动、摄像头数据捕获模块、DDR3读写控制模块、图像数据编码模块、USB读写控制模块CYUSB应用固件包括下行USB控制传输模式实现、上行块传输模式实现两个部分QT上位机包括USB通信模块和图像数据解码模块RGB565图像数据显示模块。
项目实现了将采集得到的图像数据经过USB传输线传输至上位机进行画面实时显示的功能。具体为①FPGA摄像头配置模块通过SCCB接口驱动协议完成摄像头的寄存器配置使之DVP接口产生正确信号②FPGA摄像头数据捕获模块通过DVP接口采集实时图像数据③FPGA DDR3读写控制模块将采集到底数据先存入DDR3缓冲并将数据从DDR3读出至数据编码模块④FPGA数据编码模块对图像数据进行编码做加入帧头的操作暂时没做⑤FPGA USB读写控制模块产生USB控制芯片的读写信号将图像数据发送到USB控制芯片⑥CYUSB3014应用固件通过块传输的传输模式将图像数据发送至上位机⑦上位机USB通信模块用于读取USB的传输数据⑧上位机图像解码模块用于将读取到的编码过的图像数据进行解码⑨上位机RGB565图像显示模块将解码得到的像素数据进行显示。最终完成了将摄像头采集到的图像数据进行实时显示的功能。
3.FPGA技术点
3.1SCCB协议
与IIC总线非常接近可参考FPGA IIC接口通信
SCCBSerial Camera Control Bus串行摄像头控制总线是由OVOmniVision的简称公司定义和发展的三线式串行总线该总线控制着摄像头大部分的功能包括图像数据格式、分辨率以及图像处理参数等。该协议是兼容IIC协议的。为了节约管脚OV公司采用的都是两线是类似于IIC的时钟线SIO_C和数据线SIO_D。
SSCB协议描述
Start传输开始标志在时钟线SIO_C为高电平期间SIO_D完成从高到低的跳变代表着传输开始。Stop传输结束标志在时钟线SIO_C为高电平期间SIO_D由低到高完成跳变代表着传输结束。传输时序写传输开始ID AddrR编号数据DATA传输结束 ID ADDRESS是由7位器件地址和1位读写控制位构成0写 1读上图中的第9位X表示Don’t Care不必关心位该位是由从机此处指摄像头发出应答信号来响应主机表示当前ID Address、Sub-address和Write Data是否传输完成但是从机有可能不发出应答信号因此主机此处指FPGA可不用判断此处是否有应答直接默认当前传输完成即可.Sub-address为8位寄存器地址在摄像头的数据手册中定义了0x00~0xAC共173个寄存器大概数有些寄存器是可改写的有些是只读的只有可改写的寄存器才能正确写入。WriteData为8位写数据每一个寄存器地址对应8位的配置数据 4.传输时序读传输开始相1ID ADDR相2寄存器编号结束传输 第一部分是写器件地址和寄存器地址即先进行一次虚写操作通过这种虚写操作使地址指针指向虚写操作中寄存器地址的位置当然虚写操作也可以通过前面介绍的写传输协议来完成。其中ID Address代表的是期间地址bit0为0写。Sub—address代表是寄存器地址。第二部分是读器件地址ID Address bit0为1代表读和读数据Read Data此时读取到的数据才是寄存器地址对应的数据。上图中的NA位由主机这里指FPGA产生由于SCCB总线不支持连续读写因此NA位必须为高电平。
3.2OV5640模组
与多数主流CMOS图像传感器一样OV5640通过寄存器配置工作参数方式就是SCCB协议寄存器的内容很多下面讲几个关键的其余可查阅手册了解使用。
1.图像窗口设置 ISP 输入窗口设置ISP Input Size允许用户设置整个传感器显示区域physical pixel size2632*1951其中 2592*1944 像素是有效的开窗范围从 0*0~2632*1951 都可以任意设置。也就是上图中的 X_ADDR_ST寄存器地址 0x3800、0x3801、Y_ADDR_ST寄存器地址 0x3802、0x3803、X_ADDR_END寄存器地址 0x3804、0x3805和 Y_ADDR_END寄存器地址 0x3806、0x3807寄存器。该窗口设置范围中的像素数据将进入 ISP 进行图像处理。
ISP(Image Signal Processor)即图像处理主要作用是对前端图像传感器输出的信号做后期处理主要功能有线性纠正、噪声去除、坏点去除、内插、白平衡、自动曝光控制等依赖于ISP才能在不同的光学条件下都能较好的还原现场细节ISP技术在很大程度上决定了摄像机的成像质量。
预缩放窗口设置pre-scaling size允许用户在 ISP 输入窗口的基础上进行裁剪用于设置将进行缩放的窗口大小该设置仅在 ISP 输入窗口内进行 X/Y 方向的偏移。可以通过 X_OFFSET寄存器地址 0x3810、0x3811和 Y_OFFSET寄存器地址 0x3812、0x3813进行配置。
输出大小窗口设置data output size是在预缩放窗口的基础上经过内部 DSP 进行缩放处理并将处理后的数据输出给外部的图像窗口图像窗口控制着最终的图像输出尺寸。可以通过 X_OUTPUT_SIZE寄存器地址 0x3808、0x3809和 Y_OUTPUT_SIZE寄存器地址 0x380A、0x380B进行配置。注意当输出大小窗口与预缩放窗口比例不一致时图像将进行缩放处理图像变形仅当两者比例一致时输出比例才是 1:1正常图像。
右侧 data output size 区域才是 OV5640 输出给外部的图像尺寸也就是显示在显示器或者液晶屏上面的图像大小。输出大小窗口与预缩放窗口比例不一致时会进行缩放处理在显示器上面看到的图像将会变形。
实际配置的图像分辨率中将38080x02 38090x800x028010’640 380a01 380be00x01e0480。
2.输出图像格式设置
OV5640 支持多种不同的数据像素格式包括 YUV亮度参量和色度参量分开表示的像素格式、RGB其中 RGB 格式包含 RGB565、RGB555 等以及 RAW原始图像数据通过寄存器地址 0x4300 配置成不同的数据像素格式。将寄存器 0x4300 寄存器的 Bit[7:4]设置成 0x6 ,将寄存器 0x4300 寄存器的 Bit[3:0]设置成0x1即可将输出像素格式设置为RGB565。
3.3DVP接口
DVP接口就是digital video port的简称即数字视频端口。常见的视频采集接口有LVDS、MIPIDVP是速度较慢的并行传输的接口在高速的传感器上已经很少能见到该接口了下面简单介绍一下DVP下图为VGA帧的DVP接口时序图和接口管脚图。 说明1不同的分辨率上图中的每一个上升沿和每一个下降沿的时间是固定的时间的单位是tp指的是输出一个时钟像素数据所需要的时间当配置摄像头的输出格式为8位raw时tptPCLK当为YUV\RGB的时候tp2*tPCLK。因此输出一帧图像所需要的时间与tPCLK是息息相关的。而决定像素时钟PCLK的是XCLK(控制芯片输出给驱动sensor的时钟)与寄存器的配置。因此决定摄像头输出的帧频大小取决于XCLK与相关时钟倍频寄存器的配置。
说明2时序关系当场同步信号的有效信号到来时开始一帧数据的传输当行同步的有效信号到来时开始一行数据的传输每行数据之间有传输间隔帧与帧之间除了包含480个行同步有效信号外还有其他的数据无效时间。
VSYNC场同步信号由摄像头输出用于标志一帧数据的开始与结束。上图中VSYNC的高电平作为一帧的同步信号在低电平时输出的数据有效。需要注意的是场同步信号是可以通过设置某寄存器进行取反的即低电平同步高电平有效。
HREF/HSYNC行同步信号由摄像头输出用于标志一行数据的开始与结束。上图中的HREF和HSYNC是由同一引脚输出的只是数据的同步方式不一样。本次实验使用的是HREF格式输出当HREF为高电平时图像输出有效可以通过寄存器进行配置。
D[9:0]数据信号由摄像头输出在RGB格式输出中只有高8位D[9:2]是有效的
XCLK控制芯片输出给驱动sensor的时钟。
PCLK像素时钟每一个时钟输出一个或者半个像素数据。
SCL、SDA :IICSCCB用来配置sensor寄存器的接口。
3.4DDR3读写接口
参考DDR3应用总结
DDR3读写接口使用的赛灵思的MIG IP核。为了匹配DDR3的读写速度使用两个FIFO用于写入DDR3和读出DDR3。由于该平台设计中读出DDR3的速度大约是USB3.0的传输速度实测平均速度在370MB/s远远大于摄像头的数据输出速度不超过50MB\s。故使用乒乓操作切换两块缓冲区每一块缓冲区大小为一帧图像的大小对于写操作写完第一块缓冲区bank1之后就切换到第二块缓冲区bank2继续写由于读取速度大于写入速度因此当读完bank1之后去当前没有写操作的bank中读取数据可能产生同一帧图片读取多次的情况但保证了用户在上位机正常观看画面。
3.5 USB3.0接口 参考USB3.0赛普拉斯方案
上行数据流使用块传输模式传输实时像素数据实际测试。平均速度可达370MB\s。
4.QT技术点
多线程 参考QThread线程创建与使用
QT工程代码粘贴如下
主线程图像显示代码Raw_Usb,app
#include raw_usb.h
#include ui_raw_usb.h
#include mythread.h
#include QThread
#include QDebug
#include QImage
#include QPixmapRaw_Usb::Raw_Usb(QWidget *parent): QWidget(parent), ui(new Ui::Raw_Usb)
{ui-setupUi(this);ui-label_Show-resize(640,480);connect(ui-startBtn,QPushButton::clicked,this,Raw_Usb::SlotStart);connect(ui-stopBtn,QPushButton::clicked,this,Raw_Usb::SlotStop);//链接线程中的数据来更新界面的图像显示connect(thr,MyThread::refreshUi,this,Raw_Usb::responseUi,Qt::BlockingQueuedConnection);
}Raw_Usb::~Raw_Usb()
{delete ui;
}
void Raw_Usb::SlotStart()
{thr-start();ui-startBtn-setEnabled(false);ui-stopBtn-setEnabled(true);
}
void Raw_Usb::SlotStop()
{if(thr-isRunning()){thr-stop();ui-startBtn-setEnabled(true);ui-stopBtn-setEnabled(false);}
}
//成熟槽函数接收内存区指针来显示图片
void Raw_Usb::responseUi(uchar * addrBuf)
{ QPixmap pix;QImage imgQImage(addrBuf,640,480,QImage::Format_RGB16);pixpix.fromImage(img);ui-label_Show-setPixmap(pix);
}
子线程数据接收代码mythread.app
#include mythread.h
#include QDebug
#include CyAPI.h
#include raw_usb.h
#include QFile
#include QImage
#include QPixmap
#include QByteArray
#include QTimer
MyThread::MyThread(QObject *parent) :QThread(parent)
{stopped false;
}void MyThread::run()
{/*创建设备对象通过发送带参信号Cam_Data_Usb显示USB设备相关信息*/CCyUSBDevice *Cam_Data_Usbnew CCyUSBDevice; //创建一个设备对象/*******************USB设备相关准备工作**************************/uchar *recieve_Buffernew uchar[640*480*2]; //定义接收缓存FPGA--上位机输入inLONG recieveLen 640*480*2; //定义函数参数字节长度bool flag_Recieve; //定义bool型标志UCHAR buik_Recieve 0x81; //定义bulk传输发送接收端点for (int i0;i Cam_Data_Usb-DeviceCount(); i) {Cam_Data_Usb-Open(i); //准备工作就绪开启第i号设备} CCyUSBEndPoint *recieve_EndptCam_Data_Usb-EndPointOf(buik_Recieve);//指定端点使能传输while(!stopped) {flag_Recieverecieve_Endpt-XferData(recieve_Buffer, recieveLen);//使能接收if(flag_Recieve){emit; refreshUi(recieve_Buffer);}}delete Cam_Data_Usb;delete []recieve_Buffer;//使用完之后释放内存空间stopped false;
}void MyThread::stop()
{stoppedtrue;
}MyThread::~MyThread()
{
}5.效果
