专家票选！5 篇人工智能经典论文

　　By 超神经

　　摘要：近日，多家机构发布了关于人工智能的年终回顾总结，从各种表现来看，疫情下，AI 全球依然蓬勃发展 AI 达到产业规模 1500 超过1亿美元。这背后有哪些突破性的研究值得关注?

　　关键词：AI经典论文，NLP，CV

　　2020 年可谓魔幻的一年，我们见证了各种历史。但令人欣慰的是，2020年 多年来，人工智能领域的研究并没有停滞不前，而是取得了令人眼花缭乱的成就。

　　今年的各大计算机顶会，取得了创纪录的论文提交量，以下数字更加直观：

　　6 月，CVPR 2020：共收到 6656 与去年相比，与去年相比，提交了一篇论文 5165 篇增加了 28%;

　　7 月，ACL 2020：共收到 3088 篇提交论文打破了会议 2906 篇的纪录;

　　7 月，ICML 2020：共收到 4990 篇与去年相比，提交论文 3424 篇增加了 45.7%;

　　12 月，NeurIPS 2020：共收到 9467 与去年相比，一篇论文 6809 篇增加了 40%。

　　在成千上万篇论文中，业内顶尖科技公司、专家学者精心挑选 10 篇「必读论文」。分布式多传感器机器学习方法用于地震预警A Distributed Multi-Sensor Machine Learning Approach to Earthquake Early Warning 快速采样方法通过高斯过程后验进行Efficiently Sampling Functions from Gaussian Process Posteriors 向拟人化的开放域聊天机器人迈进Towards a Human-like Open-Domain Chatbot 语言模型是小样本学习者Language Models are Few-Shot Learners 超过准确性标准：使用： CheckList 对 NLP 行为测试模型Beyond Accuracy: Behavioral Testing of NLP models with CheckList EfficientDet：可扩展和高效的目标检测EfficientDet: Scalable and Efficient Object Detection 对可对称、可变形 3D 对物体类别进行无监督学习Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images in the Wild 转换器用于大规模图像识别An Image is Worth 16×16 Words: Transformers for Image Recognition at Scale AdaBelief 优化器：根据观察梯度 Blief 调整步长 AdaBelief Optimizer: Adapting Stepsizes by the Belief in Observed Gradients ALBERT：语言表示自监督学习的轻量级语言 BERT ALBERT: A Lite BERT for Self-supervised Learning of Language Representations

　　在昨天专家票选!2020年 年度 10 在人工智能经典论文(上)中，我们已经介绍前五篇文章，其余五篇请参见下面。

　　1

　　论文地址：https://arxiv.org/abs/1911.09070v4

　　论文

　　《EfficientDet：目标检测可扩展性和高效性

　　荣誉

　　为 CVPR 2020 所接收

　　摘要

　　模型效率在计算机视觉中变得越来越重要。在本文中，我们系统地研究了目标检测中各种神经网络系统结构的设计选择，并提出了几个关键的优化方案来提高效率。

　　首先，我们提出了金字塔网络的加权双向特征(BiFPN)，它能方便快捷地融合多尺度特征;其次，我们提出了一种混合物合缩放法可以同时对所有主干、特征网络和 box/class 均匀缩放网络的分辨率、深度和宽度。

　　基于这些优化，我们开发了一个新的对象检测器系列，称为 EfficientDet，在广泛的资源约束范围内，它总能达到比现有技术更好的数量级效率。特别是在没有任何附加功能的情况下，我们 EfficientDet-D7 在 COCO 数据集实现了最先进的数据集 51.0 mAP，参数为 52M, FLOPS1 为 比以前最好的检测器小的326B 4 倍，少用 9.3 倍的 FLOPS，但仍然比以前的检测器更准确(+0.3%) mAP)。

　　核心思想

　　为提高目标检测模型的效率，作者提出： 加权双向特征金字塔网络(BiFPN)，用于轻松快速的多尺度特征集成。它了解不同输入特征的重要性，并反复应用自上而下和自下而上的多尺度特征集成。 一种新的混合缩放方法，用于同时缩放所有主干、特征网络和框架/类别(box/class)预测网络的分辨率、深度和宽度。

　　这些优化与 EfficientNet 主干可以一起开发新的目标检测器系列，即 EfficientDet。

　　关键成就

　　评估表明，EfficientDet目标检测器比以前最先进的检测器具有更高的精度，但参数要少得多，特别是： 参数为 52M 的 EfficientDet 模型，在 COCO 最新的测试-开发数据集 52.2 AP，超过之前的最佳检测器(1.5 AP)，但是尺寸缩小了 4 倍，使用的 FLOP 减少了 13 倍; 通过简单的修改，EfficientDet 模型达到了 81.74% 的 mIOU 精度，在 Pascal VOC 2012 语义分割，比 Deeplabv3 + 高出 1.7%，FLOP 减少了 9.8 倍; 以前的检测器相比，EfficientDet模型在 GPU / CPU 上的速度快 3 到 8 倍。

　　2

　　论文地址：https://arxiv.org/abs/1911.11130

　　论文

　　对可对称、可变形 3D 物体类别，无监督学习

　　荣誉

　　获得 CVPR 2020 最佳论文奖

　　摘要

　　我们提出了一种基于原始单目图像的学习 3D 可变物体类别的方法不需要外部监督。该方法基于自动编码器将每个输入图像分解为四个组件：深度、反向照度、视点和光(结合这四个组件重建输入图像)。

　　为了在没有监督的情况下解决这些组件，我们使用了许多对象类别至少在原则上具有对称结构的事实。当然，一些特定的目标实例并不完全对称，我们也使用直接建模光和扩展模型来解决这个问题。

　　实验结果表明，该方法可以在没有任何监督和形状模型的情况下，准确地从单目图像中恢复人脸、猫脸和汽车的三维形状。在基准方面，我们证明该方法在基准数据集中比另一种类似的监督方法具有更好的性能。

　　猫脸是基于单目图像的 3D 重建效果

　　对合成的 2D 汽车单目图像3D 重建效果

　　核心思想

　　本文介绍的方法的目标是在两个挑战条件下从单个条件出发 RGB 可变形对象的图像重建 3D 姿势、形状、反射率和照明是两个条件： 无法获取 2D 或 3D ground truth 信息(真值)，如关键点、分割、深度图或 3D 模型的先验知识; 该算法必须采用无约束的单目图像集合，而无需同一例子的多个视图。

　　为实现这一目标，研究人员提出： 对称性被用作几何线索来约束分解; 明确建模光，并将其用作恢复形状的额外线索; 为了推理物体中潜在的不对称性，扩展模型。

　　关键成就

　　该方法的定性评估表明，它可以高保真地重建人和猫 3D 面孔，包括鼻子、眼睛和嘴巴的细节。

　　与其他最新的无监督方法相比，该方法可以重构更高质量的形状，甚至更好 DepthNet 后者使用模型 2D 深度预测关键点注释。

　　3

　　论文地址：https://arxiv.org/abs/2010.11929

　　论文

　　转换器用于大规模图像识别

　　荣誉

　　投稿 ICLR 2021

　　摘要

　　虽然 Transformer 架构已成为自然语言处理任务的实际标准，但其在计算机视觉中的应用仍然有限。在视觉上，注意力要么与卷积网络相结合，要么取代卷积网络的某些部分，同时保持卷积网络的整体结构不变。

　　我们已经证明了卷积神经网络(CNN)这种依赖是不必要的，当直接应用于图像小块序列时，纯 Transformer 图像分类任务可以很好地执行。在大量数据上进行预训练，并转移到多个识别基准(ImageNet、CIFAR-100、VTAB 等)，视觉转换器与最先进的卷积网络相比取得了优异的效果，而训练所需的计算资源则大大降低。

　　核心思想

　　在将 Transformer 当系统结构应用于图像时，作者应尽可能遵循它 NLP 设计的 Transformer 的原始设计。 引入的基于 Transformer 图像分类方法包括以下步骤： 将输入图片分割成 16x16 个 patches; 每个 patch 在嵌入位置信息的同时进行线性变换降维; 将 patches 提供给标准 Transformer 编码器; 在序列中添加额外的可学习的内容「class」标记位置和位置 Transformer Encoder 作为图像特征输出。

　　关键成就

　　在 JFT300M 在数据集上进行预训练 Vision Transformer，与基于 ResNet 基线匹配或优于后者，所需的计算资源也大大降低。其精度如下：

　　在 ImageNet 上：88.36%;

　　在 ImageNet-ReaL 上：90.77%;

　　CIFAR-100：94.55%;

　　牛津 IIIT 宠物数据集：97.56%;

　　牛津 102 花卉数据集：99.74%;

　　在 VTAB 套件(包含 19 个任务)：77.16%。

　　4

　　论文地址：https://arxiv.org/pdf/2010.07468v1

　　论文

　　《AdaBelief 优化器：根据观察梯度 Blief 调整步长》

　　荣誉

　　被 NeurIPS 2020 所接收

　　摘要

　　目前最流行的深度学习优化器(optimizer)可广泛分为自适应方法(如 Adam)和加速方案(如随机梯度下降的驱动量)(SGD))。对于许多模型，如卷积神经网络(CNNs)，通常比较自适应方法 SGD 收敛更快，但泛化较差;对于复杂的设置，如生成对抗网络(GANs)，由于其稳定性，自适应通常是默认的。

　　我们提出同时实现三个目标 AdamBlief：能像自适应方法一样快速收敛，和自适应方法一样快 SGD 同样具有良好的泛化性和训练稳定性。

　　AdamBlief 根据当前梯度方向的直觉「belief」调整步长。平均移动噪声梯度指数(EMA)如果观测到的梯度与预测有很大的偏差，我们不相信当前的观测结果，并采取一小步;如果观测到的梯度接近预测，我们相信它，并采取一大步。

　　通过大量的实验验证AdamBlief 算法的有效性表明，该算法在图像分类和语言建模方面具有较快的收敛速度和较高的精度。

　　具体来说，在 ImageNet 上，AdaBelief 达到了与 SGD 精度相当高。另外，在 CIFAR10 上训练 GAN 调试好的时候 Adam 与优化器相比，AdaBelief 它表现出高稳定性，提高了生成样品的质量。

　　核心思想

　　AdaBelief 优化器的想法是优化自适应性(例如 Adam)和加速 SGD 结合优化器的优点。自适应方法通常收敛速度更快，而且 SGD 优化器具有更好的泛化性能。

　　AdaBelief 的 Blief 根据我们在当前渐变方向上可以信任的范围来调整步长: 假如观测到的梯度与预测值有很大的偏差，那么我们对观测值的信念并不强，可以采取一些措施; 如果观测到的梯度接近预测值，我们对这种观测有很强的信心，并且会迈出一大步。

　　关键成就

　　AdaBelief Optimizer 有三个关键属性： 快速收敛，如自适应优化方法; 一般性好，比如 SGD 系列; 在 GAN 在复杂的环境中训练稳定性。

　　通过广泛的实验验证，这些属性在语言建模方面优于其他方法。

　　在 WGAN 在训练中，和 Adam 相比，AdaBelief 显著提高了生成图像的质量。

　　5

　　论文地址：https://arxiv.org/abs/1909.11942

　　论文

　　《ALBERT：语言表示自监督学习的轻量级语言 BERT》

　　荣誉

　　拿下 13 项 NLP 任务，ALBERT 三大改造登顶 GLUE 基准。

　　摘要

　　在预训练自然语言表征时，增加模型尺寸通常可以提高模型在下游任务中的性能。然而，这种纯粹依赖模型尺寸并期望在未来创造奇迹的想法将变得越来越困难。进一步增加模型尺寸将带来以下困难： GPU/TPU 内存不足; 训练时间会更长; 模型退化。

　　因此，为了解决上述问题，本文提出通过两种参数精简技术来减少内存消耗，加快内存消耗 BERT 训练速度。此外，本文还引入了自我监督损失(self-supervised loss)，用于句子的连贯性(inter-sentence coherence)建模并证明损失函数可以提高多句作为输入下游任务的性能。

　　本文提出的模型 ALBERT 在 GLUE、RACE 和 SQuAD 这 3 所有基准都取得了新的成绩 SOTA 结果，参数少于 BERT-large。

　　核心思想

　　ALBERT 引入两种参数精简技术，克服了扩展预训练模型的主要障碍。 一是因式分解嵌入参数; 第二种技术是跨层参数共享。

　　这两种技术都明显减少了。 BERT 同时，参数的数量不会显著损害其性能， 从而提高参数效率。

　　关键成就

　　ALBERT 在 GLUE、SQuAD 2.0、RACE 列表已经到了 SOTA，并在多方面推进 NLP 研究。