基于video4linux的视频设备编程

1.什么是video4linux
Video4linux（简称V4L),是linux中关于视频设备的内核驱动。
现在已有Video4linux2，还未加入linux内核，使用需自己下载补丁
在Linux中，视频设备是设备文件，可以像访问普通文件一样对其进行读写
摄像头在/dev/video0下

2.Video4linux下视频编程的流程
1.打开视频设备：
2. 读取设备信息
3.更改设备当前设置（如果有必要）
4.进行视频采集，两种方法: (都没成功）
1.内存映射
2.直接从设备读取
5.对采集的视频进行处理（没做）
6.关闭视频设备。


为程序定义的数据结构
typedef struct v4l_struct
{
int fd;
struct video_capability capability;
struct video_channel channel[4];
struct video_picture picture;
struct video_window window;
struct video_capture capture;
struct video_buffer buffer;
struct video_mmap mmap;
struct video_mbuf mbuf;
unsigned char *map;
int frame;
int framestat[2];
}vd;
3.Video4linux支持的数据结构及其用途
1. video_capability
包含设备的基本信息（设备名称、支持的最大最小分辨率、信号源信息等）
包含的分量：
name[32] //设备名称
maxwidth ，maxheight，minwidth，minheight
Channels //信号源个数
type //是否能capture，彩色还是黑白，是否 能裁剪等等。 值如VID_TYPE_CAPTURE等

video_picture
设备采集的图象的各种属性
brightness 0~65535
hue
colour
contrast
whiteness
depth // 24
palette //VIDEO_PALETTE_RGB24


video_channel 关于各个信号源的属性
Channel //信号源的编号
name
tuners
Type VIDEO_TYPE_TV | IDEO_TYPE_CAMERA
Norm 制式

video_window //包含关于capture area的信息
x x windows 中的坐标.
y x windows 中的坐标.
width The width of the image capture.
height The height of the image capture.
chromakey A host order RGB32 value for the chroma key.
flags Additional capture flags.
clips A list of clipping rectangles. (Set only)
clipcount The number of clipping rectangles. (Set only)


video_mbuf
利用mmap进行映射的帧的信息
size //每帧大小
Frames //最多支持的帧数
Offsets //每帧相对基址的偏移
video_buffer 最底层对buffer的描述
void *baseBase physical address of the buffer
int height Height of the frame buffer
int widthWidth of the frame buffer
int depthDepth of the frame buffer
int bytesperline Number of bytes of memory between the start of two adjacent lines
实际显示的部分一般比它描述的部分小
video_mmap //用于mmap

4.关键步骤介绍
初始化阶段做的工作
int ioctl(int fd, ind cmd, …) input output control 的缩写
用于和设备进行“对话”。
如果驱动程序提供了对ioctl的支 持，用户就可以在用户程序中使用ioctl函数控制设备的I/O通道。
fd：设备的文件描述符，cmd:用户程序对设备的控制命令 ，.省略号一般是一个表示类型长度的参数，也可以没有。
1.打开视频：
Open（”/dev/video0”，vdfd);
关闭视频设备用close（”/dev/video0”，vdfd);
2. 读video_capability 中信息
ioctl(vd->fd, VIDIOCGCAP, &(vd->capability))
成功后可读取vd->capability各分量 eg.
Printf（”maxwidth = %d”vd->capability .maxwidth）;

3.读video_picture中信息
ioctl(vd->fd, VIDIOCGPICT, &(vd->picture))；

4.改变video_picture中分量的值
先为分量赋新值，再调用VIDIOCSPICT
Eg.
vd->picture.colour = 65535;
if(ioctl(vd->fd, VIDIOCSPICT, &(vd->picture)) < 0)
{
perror("VIDIOCSPICT");
return -1;
}


5.初始化channel
必须先做得到vd->capability中的信息
for (i = 0; i <>capability.channels; i++)
{
vd->channel[i].channel = i;
if (ioctl(vd->fd, VIDIOCGCHAN, &(vd->channel[i])) < 0)
{
perror("v4l_get_channel:");
return -1;
}
}

截取图象的第一种方法：用mmap（内存映射）方式截取视频
mmap( )系统调用使得进程之间通过映射同一个普通文件实现共享内存。普通文件被映射到进程地址空间后，进程可以向访问普通内存一样对文件进行访问，不必再调用read()，write（）等操作。
两个不同进程A、B共享内存的意思是，同一块物理内存被映射到进程A、B各自的进程地址空间。进程A可以即时看到进程B对共享内存中数据的更新，反之亦然
采用共享内存通信的一个显而易见的好处是效率高，因为进程可以直接读写内存，而不需要任何数据的拷贝
1.设置picture的属性
2. 初始化video_mbuf，以得到所映射的buffer的信息
ioctl(vd->fd, VIDIOCGMBUF, &(vd->mbuf))
3.可以修改video_mmap和帧状态的当前设置
Eg. vd->mmap.format = VIDEO_PALETTE_RGB24
vd->framestat[0] = vd->framestat[1] = 0; vd->frame = 0;
4.将mmap与video_mbuf绑定
void* mmap ( void * addr , size_t len , int prot , int flags , int fd , off_t offset )
len //映射到调用进程地址空间的字节数，它从被映射文件开头 offset个字节开始算起
Prot //指定共享内存的访问权限 PROT_READ（可 读） , PROT_WRITE （可写）, PROT_EXEC （可执行）
flags // MAP_SHARED MAP_PRIVATE中必选一个
// MAP_ FIXED不推荐使用
addr //共内存享的起始地址，一般设0，表示由系统分配
Mmap( ) 返回值是系统实际分配的起始地址
if((vd->map = (unsigned char*)mmap(0, vd->mbuf.size, PROT_READ|PROT_WRITE, MAP_SHARED, vd->fd, 0)) < 0)
{
perror("v4l_mmap mmap:");
return -1;
}

4.Mmap方式下真正做视频截取的 VIDIOCMCAPTURE
ioctl(vd->fd, VIDIOCMCAPTURE, &(vd->mmap)) ;
若调用成功，开始一帧的截取，是非阻塞的，
是否截取完毕留给VIDIOCSYNC来判断

5. 调用VIDIOCSYNC等待一帧截取结束
if(ioctl(vd->fd, VIDIOCSYNC, &frame) < 0)
{
perror("v4l_sync:VIDIOCSYNC");
return -1;
}
若成功，表明一帧截取已完成。可以开始做下一次 VIDIOCMCAPTURE
frame是当前截取的帧的序号。

关于双缓冲：
video_bmuf bmuf.frames = 2;
一帧被处理时可以采集另一帧
int frame; //当前采集的是哪一帧
int framestat[2]; //帧的状态 没开始采集|等待 采集结束
帧的地址由
vd->map + vd->mbuf.offsets[vd->frame]得到

采集工作结束后调用munmap取消绑定
munmap(vd->map, vd->mbuf.size)


关于mmap过程的总结：
1.得到图象的信息
2.初始化video_mbuf VIDIOCGMBUF
3. video_mbuf与mmap绑定 mmap（）
4. 可以修改video_mmap和帧状态的当前设置
Eg. vd->mmap.format = VIDEO_PALETTE_RGB24
vd->framestat[0] = vd->framestat[1] = 0; vd->frame = 0;
Loop：
{
if（framestat[帧号] = 0）
VIDIOCMCAPTURE( ); // 开始 截取，置framestat[帧号] = 1
if（framestat[帧号] = 1）
VIDIOCSYNC( ); //等待截取完成，置framestat[帧号] = 0
对采集的帧做处理；//帧地址是vd->map + vd->mbuf.offsets[vd->frame]
帧号 = 帧号 ^ 1;
}

视频截取的第二种方法：直接读设备
关于缓冲大小，图象等的属性须由使用者事先设置
调用read（）；
int read (要访问的文件描述符；指向要读写的信息的指针；应该读写的字符数);
返回值为实际读写的字符数
eg
int len ;
unsigned char *vd->map= (unsigned char *) malloc(vdcapability.maxwidth*vdcapability.maxheight );
len = read(vdfd,vd vd->map,
vdcapability.maxwidth*vdcapability.maxheight*3 );

编程时遇到的问题
程序编译通过，设备能打开，设备的信息能读出，可修改。
截取视频失败
1.mmap方法
在必要的初始化后，调用
ioctl(vd->fd, VIDIOCMCAPTURE, &(vd->mmap))；失败
出错信息为 Invalid argument
若让后续的ioctl(vd->fd, VIDIOCSYNC, &frame) 执行，显示同样的出错信息
从网上下了一个人的程序，说是用视频采集卡实现了视 频截取的，编译运行后显示同样的出错信息
猜测摄像头不支持mmap方法？

2.Read（）方式：
能读出数据，但可能不对。
设置了帧大小为176*144*3（彩色）= 76038 byte
调用len = read( ) 只能读出38016 byte，刚好是预期值的一半，现在还不知道读出的数据是什么东西。
网上下了叫gqcam的应用程序及代码，用的是read（）方式，运行时只有半个窗口有图象，另一半黑屏，估计是因为读出的数据只有半个帧大小，不知为何会这样。


参考原码：
gqcam-0.9
effectv-0.3.9
参考文献：
《video4linux programming》 Alan Cox
《video streaming 探讨》 陈俊宏
《Video4Linux Kernel API Reference 》