设为首页 - 加入收藏
广告 1000x90
您的当前位置:311211黄大仙生肖资料 > 卷积 > 正文

相关阅读

来源:未知 编辑:admin 时间:2019-06-03

  【新智元导读】Facebook AI、新加坡国立大学、360 人工智能研究院的研究人员提出一种新的卷积操作OctConv,可以直接替代传统卷积,持续提高图像和视频识别任务的精度,同时降低内存和计算成本。

  其中,论文一作陈云鹏现于新加坡国立大学读博士,师从颜水成和冯佳时,两人也是这篇论文的作者。其他作者来自Facebook AI。

  作者表示,OctConv 是一种即插即用的卷积单元,可以直接替代传统的卷积,而无需对网络架构进行任何调整。

  在自然的图像中,信息以不同的频率传递,其中较高的频率通常以精细的细节编码,较低的频率通常以全局结构编码。

  在这项工作中,作者提出将混合特征映射根据其频率进行分解,并设计了一种全新的卷积运算:Octave Convolution (OctConv),用以存储和处理在较低空间分辨率下空间变化 “较慢” 的特征图,从而降低了内存和计算成本。

  Octave 一词表示 “八音阶” 或 “八度”,音乐里降 8 个音阶表示频率减半。通过降低低频特征的分辨率,从而节省内存和计算。

  实验表明,通过简单地用 OctConv 替代卷积,我们可以持续提高图像和视频识别任务的精度,同时降低内存和计算成本。

  卷积神经网络 (CNNs) 在许多计算机视觉任务中都取得了显著的成功,并且随着最近的研究在降低密集模型参数和特征图通道维数的固有冗余,它们的效率不断提高。然而,CNN 生成的特征图在空间维度上也存在大量冗余,其中每个位置独立存储自己的特征描述符,忽略了可以一起存储和处理的相邻位置之间的公共信息。

  图 1:(a) 动机。视觉的空间频率模型的相关研究表明,自然图像可以分解为低空间频率和高空间频率两个部分。(b) 卷积层的输出图也可以根据其空间频率进行分解和分组。(c) 所提出的多频特征表示将平滑变化的低频映射存储在低分辨率张量中,以减少空间冗余。(d) 所提出的 Octave Convolution 直接作用于这个表示。它会更新每个组的信息,并进一步支持组之间的信息交换。

  如图 1(a) 所示,自然图像可以分解为描述平稳变化结构的低空间频率分量和描述快速变化的精细细节的高空间频率分量。

  类似地,我们认为卷积层的输出特征映射也可以分解为不同空间频率的特征,并提出了一种新的多频特征表示方法,将高频和低频特征映射存储到不同的组中,如图 1(b) 所示。因此,通过相邻位置间的信息共享,可以安全地降低低频组的空间分辨率,减少空间冗余,如图 1(c) 所示。

  为了适应新的特征表示,我们提出 Octave Convolution (OctConv),它接收包含两个频率的特征映射,并直接从低频映射中提取信息,而无需解码回到高频,如图 1(d) 所示。

  作为传统卷积的替代,OctConv 消耗的内存和计算资源都大大减少。此外,OctConv利用相应的 (低频) 卷积处理低频信息,有效地扩大了原始像素空间的感受野,从而提高识别性能。

  我们以一种通用的方式设计 OctConv,使它成为卷积的替代,而且即插即用。由于OctConv 主要侧重于处理多空间频率的特征映射并减少其空间冗余,它与现有的方法是相交且互补的,现有的方法侧重于构建更好的 CNN 拓扑结构,减少卷积特征映射中的信道冗余和密集模型参数中的冗余。

  此外,与利用多尺度信息的方法不同,OctConv 可以很容易地部署为即插即用单元,以替代卷积,而不需要改变网络结构或需要超参数调优。

  我们提出将卷积特征映射分解成不同空间频率的两个组,并分别以相应的频率处理不同的卷积,相隔一个八度 (octave)。由于可以降低低频图的分辨率,因此能够节省存储和计算。这也有助于每一层获得更大的感受野,以捕获更多的上下文信息。

  我们设计了一种即插即用的运算,名为 OctConv,用来代替传统的卷积运算。OctConv直接对新的特征表示进行运算,减少了空间冗余。更重要的是,OctConv 在实践中速度很快,达到了接近理论极限的加速。

  我们广泛研究了所提出的 OctConv 在用于图像和视频任务的各种骨干 CNN 上的特性,并获得了显著的性能提高,甚至可以与最好的 AutoML 网络相媲美。

  octave feature representation 减少了空间冗余,比原始表示更加紧凑。然而,由于输入特征的空间分辨率不同,传统卷积不能直接对这种表示进行操作。

  避免这个问题的一种简单方法是将低频部分上采样到原始的空间分辨率,将它与连接起来,然后进行卷积,这将导致额外的计算和内存开销。

  为了充分利用紧凑的多频特征表示,我们提出 Octave Convolution,它可以直接在分解张量

  表示输入张量和输出张量。中的每个 feature map 可以下面的公式计算:

  我们的设计目标是有效地处理相应频率张量中的低频和高频分量,同时使我们的 Octave特征表示的高频分量和低频分量之间能够有效地通信。

  Octave Convolution 的设计细节。绿色箭头表示信息更新,红色箭头表示两个频率之间的信息交换。

  我们分别进行了 ImageNet 上图像分类的研究,然后将其与目前最先进的方法进行了比较。

  如图 4 所示,采用 OctConv 的模型比基线模型更有效、更准确。图中每条线的黑色标记表示不采用 OctConv 的相应基线模型的精度。

  ①本网所有内容均来自互联网或网友投稿,目的在于传递更多信息,并不代表本网赞同其观点或证实其内容的真实性,不承担此类作品侵权行为的直接责任及连带责任。其他媒体、网站或个人从本网转载时,必须保留本网注明的作品来源,并自负版权等法律责任。

  ②如相关内容涉及版权等问题,请在作品发表之日起一周内与本网联系,我们将在您联系我们之后24小时内予以删除,否则视为放弃相关权利,读者热线 。

本文链接:http://homehelp4u.net/juanji/198.html

相关推荐:

网友评论:

栏目分类

现金彩票 联系QQ:24498872301 邮箱:24498872301@qq.com

Copyright © 2002-2011 DEDECMS. 现金彩票 版权所有 Power by DedeCms

Top