光流笔记学习笔记课件.ppt

光流学****笔记光流的基本概念光流场是指图像灰度模式的表面运动,光流表达了像的位移。从光流的定义可以看出:由于光流有如下3个要素:一是运动(速度场),这是光流形成的必要条件;二是带光学特性的部位(例如有灰度的像素点),它能携带信息;三是成像投影(从场景到图像平面),因而能被观察到。光流场与运动场之间的关系情况一:光源定,球绕轴转情况二:球定,光源动理想情况下,光流场和运动场相吻合,但实际并非如此。运动场不为零,光流场为零运动场为零,光流场不为零一般来说,我们希望光流场与运动场的差别不大,研究光流场的目的就是为了从序列图像中近似计算不能直接得到的运动场光流研究中的主要问题孔径问题运动边界保持问题大位移光流计算问题遮挡判断与处理问题光流场计算可以简单地看成是最优匹配问题。一般采用“灰度恒定准则”,即认为最佳匹配模式点的灰度是一致的,来确定匹配点会导致匹配的不确定现象,称为孔径问题。光流研究中的主要问题孔径问题解决孔径问题的办法一是增加特征的阶数,比如灰度梯度、彩色分量梯度的匹配,二是利用先验知识,给光流加上其他约束,比如最普遍的空间平滑约束。光流研究中的主要问题光流场中的运动边界是两种运动光流的分界线,一般出现在目标的边缘,如图1-3所示。理想光流场应该既能保证运动边界的清晰,又能保证光流平滑处的平滑,但往往这是矛盾的:全局连续光流算法能保证前者,但不能兼顾后者;局部连续光流算法能保证后者,但不能兼顾前者。离散光流算法似乎可以二者兼顾,但容易陷入局部最优,实际平滑效果是近似平滑,本该光滑的区域可能出现局部不平滑的outlier点。运动边界保持问题光流研究中的主要问题当目标的运动速度在图像平面上的投影——图像位移超过2个像素距离时,称为大位移光流。此时,图像灰度函数Taylor展开式的高阶项远大于零,省略高阶项的线性光流约束方程存在较大的非线性误差。另外,微分法中的梯度是用差分近似的,大尺度图像位移使得差分与梯度的非线性误差增大。所以,依赖光流约束方程和梯度的传统微分法会出现很大误差。大位移光流计算问题目标运动经常会发生遮挡现象,可以分为两种:一种是目标平移遮挡了原本可视的部分背景,如图(a)所示的阴影区域;另一种是目标纵深的偏转运动,原本的可视部分被本身遮挡,变为不可视,如图(b)所示的阴影区域。在小尺度运动情况下,由于遮挡部分面积小可以忽略,而在大尺度运动下,被遮挡面积较大,不能被忽略,要求算法具有遮挡判断与处理能力。光流研究中的主要问题遮挡的判断与处理光流计算的常见方法如果从光流值所属数域的连续性来看,下述光流计算方法的优化过程对数据的处理和获得的光流值都在连续的实数域,所以,统称为连续光流计算法。按照原理的不同,分为4种:微分法、匹配法、频域法和相位法,最常见的是前两种,虽然,频域法和相位法的估计精度和空间分辨率都较高,对图像序列的适用范围也比较宽,但计算复杂性高,影响它们的使用。,以全局的HS法为例,微分法在实现中一般有如下几个步骤:①构造灰度或彩色度微分,数字图像上用有限差分近似微分;②构造光流约束方程;③对全局或局部光流场施加一定的平滑约束;④正则化两种约束,构造关于光流场f的连续能量泛函En(f);⑤用变分法求解最优f。微分是指空间微分∂I/∂x,∂I/∂y和时间微分∂I/∂t,由于数字图像是由离散的像素点构成,所以时空微分自然可以用两帧或多帧图像上的有限差分近似