咨询电话
4008-888-888
联系我们
4008-888-888
邮箱:
9490489@qq.com
地址:
这里是您的公司地址
移动端对象检测追踪有何挑战,高通又提出怎样的解决方案?

科技快报

(映维网 2019年10月29日)核算机视觉使用程序一般需求处理多帧图画,入经过视频捕获的图画。这个处理进程最重要的其间一个方面是,能够在方针移动以及视口更改时辨认和追寻方针。从机器人视觉处理和主动驾驶起到,到安全录像和增强实际,这种功用的用例简直无穷无尽。科技快报

虽然这关于功用强大的移动处理器而言好像微乎其微,而且咱们人类能够轻松完成,但要在数字国际中重现这一功用的确不易。高通的Felix Baum日前撰文向咱们介绍这一范畴所面对的应战,以及潜在的处理方案。下面是映维网的详细收拾:科技快报

1. 运动帧的应战科技快报

剖析视频帧提出了很多的应战,其间很大一部分是由于给定场景触及的变量数十分巨大。以下是开发方针检测与追寻使用程序时应考虑的应战:科技快报

方针转化:方针能够随时刻平移,旋转和缩放。科技快报

方针遮挡:方针或许会被其他方针部分或彻底遮挡。科技快报

运动含糊:依据比如运动方针的速度,记载帧速率等要素,图画或许会变得含糊。科技快报

快速运动:方针在帧之间的转化速度或许十分快,而且会依据方针自身的速度,以及方针相关于帧捕获速率而改变。科技快报

场景紊乱:场景或许包括杂乱的特征和很多方针。科技快报

方针之间的类似性:比如人脸之类的方针或许包括很多类似的特征,所以很难进行区别。科技快报

环境影响:照明,雨水和雾度改变等影响都会影响图画质量。科技快报

追寻失利:方针或许消失,然后悉数或部分从头呈现。处理这个问题需求从头检测方针。科技快报

摄像头转化:摄像头的方位,方向和视口设置会随时刻改变。科技快报

走运的是,社区现已开发了一系列的办法,而且由于边际处理才能的进步,现在很多的办法现已变得可用。科技快报

2. 办法科技快报

在追寻方针的移动之前,咱们需求了解方针的外观,一起要记住方针的外观或许会跟着帧而改变。应对所述应战的榜首步是开发视觉外观模型,如下图所示科技快报

它由将用于辨认方针并将其与仅有标识符(如方针ID)相相关的算法组成。担任这一操作的组件一般称为分类器,其作用是将图画数据块作为输入,并发生输出图画包括已辨认方针的概率。科技快报

一旦有了辨认方针的机制,下一步便是确认运动模型(即本地化)。它由确认方针在多帧中的方位的算法组成,而且能够包括猜测未来方位的功用。科技快报

视觉外观和运动模型是一般方针追寻进程的根底,这个进程一般触及确认方针的初始状况及其外观,估量其运动并核算其方位。这种算法统称为追寻算法,其间包括外观模型和运动模型的核算。在特定状况下,两个模型的核算彼此馈送以得出成果。科技快报

3. 追寻算法的分类科技快报

在研讨特定算法之前,重要的是要知道现有追寻算法的一般分类。科技快报

依据检测的追寻算法跨视频帧作业,其能够检测方针并确认追寻轨道,而且一般能够处理跨帧方针呈现和失效的状况。另一方面,无检测追寻算法必须在视频的榜首帧初始化方针。无检测追寻一般用于方针在帧之间坚持静态的状况。科技快报

单方针追寻。望文生义,即便场景中存在多个方针,单方针算法都只会追寻在榜首帧中辨认的单个方针。多方针追寻算法能够多个方针,即便它们是在榜首帧之后才进入场景。科技快报

当捕获视频片段后,能够选用离线追寻算法,而且能够离线进行处理。在这里,核算能够在两个方向(即前一阵到下一帧,反之亦然)剖析资料,然后增强追寻猜测的核算才能。别的,练习相同是离线进行。另一方面,在线(即实时)追寻算法只能剖析当下时刻之前捕获的帧,并运用依赖于曩昔帧的猜测核算来协助确认方针鄙人一帧中的移动方位。科技快报

方针表征和定位办法(如依据内核的追寻和概括追寻)的核算杂乱度较低,由于它们主要是依据概括等特征来追寻方针特点。另一方面,比如卡尔曼滤波器和粒子滤波器之类的滤波和数据相关办法运用有关场景和方针的已知信息,评价与方针及其方位相关的不同假定,并能够处理随时刻改变的方针。科技快报

4. 办法和算法科技快报

跟着方针追寻在近年来成为了视觉处理中的热门话题,社区正在不断开发各种办法和算法。下面咱们将罗列多个算法,然后协助你对进一步了解核算机科学范畴的广度和深度。科技快报

GORURN等依据卷积神经网络的离线追寻器首要针对数千个视频进行练习,并旨在处理单方针追寻。接下来,它确认方针在视频榜首帧的鸿沟框,并在随后的帧中进行追寻。虽然它不处理方针遮挡,但能够处理角度,光照和方针形状的改变。科技快报

质心追寻(Centroid Tracking)会在每一帧中获取方针的鸿沟框。能够运用任何数量的算法(如上述依据卷积神经网络的办法)来核算鸿沟框。然后,质心追寻将核算鸿沟框的中心,并为其指定ID。在每个后续帧中,算法会测验确认新核算的鸿沟框是否能够与前一帧中标识的鸿沟框相相关。假如能够树立相关,则核算新方位,然后完成方针的追寻。科技快报

You Only Look Once (YOLO)追寻是一种深度学习办法,它将帧划分为多个区域,并使用神经网络猜测每个区域的鸿沟框和概率。接下来,它经过猜测概率对鸿沟框进行加权以辨认方针。假如发现方针标识匹配的概率,则标明在给定的一组帧中完成了方针追寻。 如下图所示。科技快报

当然,你能够找到许多其他算法,但上面罗列的算法能够向你展现问题是有十分多的不同处理方案。科技快报

5. 移动端的方针追寻科技快报

高通对方针生疏并不生疏。咱们的Qualcomm Computer Vision SDK包括用于检测和追寻方针,特征(如面庞和文本),以及运动的API。Qualcomm Neural Processing SDK则能够用于履行AI算法,而Machine Vision SDK则适用于机器人和主动驾驶轿车使用。别的,你能够重视包括用于数学运算的Qualcomm Math Library。当然,咱们的高知晓龙移动渠道能够经过Qualcomm Hexagon DSP处理器,Qualcomm Spectra图画信号处理器和Qualcomm Adreno GPU等功用来履行方针检测和追寻算法。科技快报

6. 总结科技快报

方针检测和追寻是核算机视觉中的要害组件,由于它们能够协助完成从录像剖析到主动机器人等一系列的用例。就好像使用程序简直是无穷无尽相同,为应对应战而开发的奇妙办法和算法相同如此。科技快报