2019年最新颖出格的十篇AI论文

雷锋网 AI 科技评论按:前两天我们总结了 2019 年十大精彩 AI 学术论文,从学术价值的角度挑选了我们认为 2019 年里值得重读、值得纪念的机器学习论文。

“在老村啥时候都干净不了,生炉子、煨炕这样的事儿干了一辈子,如今新居里一应电器都置办起来了,终于能过个干净亮堂年了。”赵金福说,“以前最愁的就是冬夏两季,夏季雨水一多山路就变的泥泞不堪,冬天煤烟、炕烟中毒是常有的事儿……”

深度神经网络求解三体运动问题

应 “改良派”工会CFDT、UNSA和CFTC的要求,即撤销原定改革草案中的“基准退休年龄”。法国政府上周末作出回应,并在14日修改了原定退休改革,加入“财政会议”条款,“为2027年确保财政平衡找到解决方案”。“改良派”工会认为,这反映出政府愿意妥协,是工会的胜利。

此次九哈家易地搬迁涉及当地马厂、芦花2个乡镇,这里以山大沟深而闻名,是典型的干旱山区,生态环境恶劣,经济结构单一,是国家级贫困地区。

总理强调自己“发现罢工动员正在减少,我当然感到高兴”,但同时表示“对废除特殊退休制保持坚定态度”。他认为最初的“反对阶段”已经过去,现在已经可以与工会组织、各行业代表以及议员进行良好合作。总理坚持“为了退休体系的财政收支,法国人必须工作更长时间”。

上榜理由:这是一篇 EMNLP 2019 接收论文,会议结束之后则在社交网络上引发了大片声讨之声。我们固然知道具备优秀学习拟合能力的深度神经网络有能力大批量生成新闻评论,这篇论文中的方法能提取文章的重点观点生成响应的评论,而且也在自动评价指标和人类评价的两个方面都得到了很好的结果,但批评的声音认为,更重要的是「是否应当做这样的研究,这样的研究的社会影响是怎么样的」。EMNLP 2019 还有一篇遭受了类似批评的论文是《Charge-Based Prison Term Prediction with Deep Gating Network》(https://arxiv.org/abs/1908.11521),在诉讼案件中根据检方指控的罪行预测被告刑期。

当地时间2019年12月17日,数以万计法国民众在巴黎游行抗议政府退休制度改革方案。中新社记者 李洋 摄

“咚咚嚓……咚咚嚓……”新年未至,青海海东河湟谷地上锣鼓声、鞭炮声此起彼伏,三五成群的人们排练着新年社火,七里店作为青海省最大的易地扶贫搬迁安置小区,村民们正热火朝天的准备迎新年文艺表演。

这种方法很大程度上是从生物学现象得到启发的,也就是,整个大脑并不针对同一个唯一的目标进行优化,而是有模块化的功能分区,然后每个区域都优化自己的局部信息。目前看起来,这种方法可以方便地快速训练更深的模型,利用局部信息的设定也避免了传统神经网络中梯度消失的问题。这是一种有潜力的方法,不过是否能像论文标题中说的那样「给端到端学习画上句号」还需要等待时间验证。这篇论文获得 NeurIPS 2019 杰出新方向论文提名奖。 论文地址:https://arxiv.org/abs/1905.11786v2 代码开源:https://github.com/loeweX/Greedy_InfoMax 博客介绍:https://yann-leguilly.gitlab.io/post/2019-09-29-representation-learning-with-contrastive-predictive-coding/

模型的效果是惊人的,OpenAI 不仅在直播中演示了许多风格各异、辨识度高、旋律自然的生成乐曲,他们还在介绍博客中提供了一个互动演示,可以从某首些知名乐曲中取一个小节作为开头,然后让模型以其他的风格续写,续写结果令人惊喜。还有好奇且有动手能力的网友们利用 OpenAI 提供的试验工具生成了更多乐曲,都印证了 MuseNet 确实有强大的作曲能力。 同期谷歌也在巴赫诞辰日做了一个模仿巴赫的作曲 AI(https://www.google.com/doodles/celebrating-johann-sebastian-bach),可以根据用户给出的音符,以巴赫的作曲风格增加和弦。这两个音乐 AI 的区别,除了巴赫 AI 只掌握巴赫的曲风之外,还在于巴赫 AI 是在已经给出的小节中继续增加音符形成和弦,而 OpenAI 的 MuseNet 是向后续写更多小节。 博客地址:openai.com/blog/musenet 详细阅读:https://www.leiphone.com/news/201904/ZCIbdikWj3cGViEY.html

15日下午,菲利普接见了法铁总裁和巴黎公交公司负责人,希望就社会对话与恢复交通服务确定“具体要点”。

在这篇文章里,雷锋网(公众号:雷锋网) AI 科技评论会盘点 2019 年出现的新颖有趣、挑战传统观念的十篇机器学习论文。其中有的论文的学术价值如何还有待商榷、有的论文甚至直接把前人的许多研究成果一把推翻,但这些论文都新意满满。这十篇论文刚好可以归为 5 个不同的主题,每个主题两篇。

回忆起老村的生活,李丰山算了一笔经济账,“我们老村离乐都有52公里,靠种田、吃低保,冬季取暖靠燃煤,一年至少需要两吨煤,加运费没个三四千(元人民币)送不到家里,现在住进了城里,家里家电一应俱全,烧饭取暖有保障,儿子打工都比以前方便了。”

上榜理由:现代 CNN 网络有很强的特征表示学习能力,能在 ImageNet 上得到很高的识别准确率。不过,不断改进网络架构、不断刷分的人多,探究 CNN 到底学到了怎么样的特征表示的人少。按理说,对象识别的边界和纹理之争早就存在,不过我们终于还是在 2019 年看到了针对性的研究论文。 这篇论文中的实验表明,在 ImageNet 上训练的 CNN 网络在对象识别中依赖纹理远多于依赖形状;这其实和人类对自己的识别模式的认知有很大区别,也和我们对 CNN 工作方式的理解有所不同。作者们的结论有充分的实验支持,他们甚至用生成的风格转换数据集训练了依赖形状更多的 CNN,这样的 CNN 在识别准确率和鲁棒性方面都有提高。这篇论文被 ICLR 2019 接收。 论文地址:https://arxiv.org/abs/1811.12231

上榜理由:2019 年年初,在声称「GPT-2 过于危险,不能公布预训练模型」并引发大规模口水仗之后,OpenAI 觉得 GPT-2 的能力不止如此,他们尝试的下一个任务是安全且喜闻乐见的音乐生成。基于 GPT-2 编写的 MuseNet 模型继承并进一步加强了长序列生成能力,使用的训练数据是包含了 10 种不同乐器的、分类为多种不同曲风的数十万个 MIDI 文件,也就是数十万个乐曲。(MIDI 文件是乐谱的数字表示,可以指定乐器但不含有乐器的音色信息,学习 MIDI 是明确地让模型学习作曲风格。)

“以前炸馍馍都是柴火,现在置办了电锅具,温度大小可以自己控制,不仅干净,炸出来的油饼子成色也好。”已在七里店易地扶贫安置小区住了小半年的搬迁户李丰山说。

青海省海东市乐都区共和乡马厂村驻七里店易地搬迁安置小区的第一书记朱宏林坦言,在乐都区两个易地扶贫安置小区中,因为有了充足的电力保障,目前已有不少外出务工的年轻人准备回乡创业。(完)

实施易地搬迁工程中电力作为重要基础设施,也成为老乡脱贫致富的希望。国家电网海东供电公司专门针对芦花、马厂2个乡镇1880户易地搬迁村民,投资建设安置点通电工程,解决了11567千瓦用电负荷。

15日,总理菲利普主持召开部长会议。他表示:“只有在法铁在全法境内的服务恢复正常、巴黎大众运输公司恢复服务,所有用户恢复正常生活,我才会满意。”他评价说,铁路罢工“不是解决问题的办法”,只有“没完没了”。

给端到端学习画上句号:表征的梯度隔离学习 上榜理由:这篇论文提出了一种全新的自学习方法,它采用的并不是深度学习中惯用的端到端梯度下降,而是把贪婪 InfoNCE 作为目标,分别独立地训练网络中的各个模块。它的学习方式更接近于自监督学习,是把各种不同的小块之间的共同信息作为每个小块的训练的监督信号,把时间维度上临近的表征之间的共同信息最大化。之所以这种做法能奏效,是因为数据中符合这种设想的「慢特征」对下游任务非常有帮助。这种方法大幅节省了训练时间,也避开了大规模模型遇到的内存空间瓶颈。

“从工程初建到服务1946户住户入住,供电公司的服务都很超前。”安全用电宣传现场,海东市乐都区扶贫办即七里店易地搬迁扶贫安置点负责人俞玲林,看着正在发放宣传册的供电服务人员说道。

行路难、就医难、上学难、吃水难……以前当地村里的适婚男青年娶媳妇都成了难题,很多人选择外出务工谋求发展,久而久之部分村落独居老人、留守儿童家庭渐多。

深入认识我们习以为常的现象

这是青海省海东市乐都区第二大易地搬迁安置小区九哈家的一幕,村民们在今年春节前夕搬进新居,正准备在“城里”过年。

“第一次在楼里过年,咱得好好拾掇拾掇。”刚从外面买零碎用品回来的苏永兰搓着冻得发红的脸对装修师傅说。

在 ImageNet 上训练的 CNN 会带有纹理偏倚;增加形状偏倚可以提高准确度和鲁棒性

雷锋网原创文章,。详情见转载须知。

AI + 更多领域、更多能力

作为更大、更综合性的会议,NeurIPS 2019 接收论文中也有带来很大争议的,这篇「用 GAN 从声音重建人脸」的论文就炒得沸沸扬扬。即便我们认可一个人的说话声音可能和性别、年龄、体形相关,也许模型能比人类更敏感更明确地找到其中的相关性,但「侵犯隐私」、「丧失道德判断力」、「增加社会偏见」、「做奇怪无用的课题」之类的批评仍然是免不了的。

挑战解耦表征的无监督学习中的共识 上榜理由:人类研究人员们相信,真实数据的多种多样的变化总是可以用一些关键因素的波动来解释;至于这些因素分别是什么,就可以用无监督学习的方式寻找解耦的表征,从而成功地揭示数据分布规律。这个方向目前已经有一些研究成果,研究人员们也已经形成了一些共识。 但这篇论文可以说把现阶段的大部分成果和假设一竿子全部打翻。作者们首先从理论上说明,如果不在模型和数据上都引入归纳偏倚,那么解耦表征的无监督学习本来就是不可能的。接着,作者们用大规模实验表明,虽然不同的方法都可以找到和选取的训练损失对应的性质,但只要没有监督,就训练不出能良好解耦的模型。除此之外,随着表征解耦程度的提高,学习下游任务的样本复杂度并没有跟着降低。这几点结论都和当前的解耦表征无监督学习的共识形成鲜明冲突,这个方向的研究人员们也许需要重新思考他们要从多大程度上从头来过。 作者们的建议是,未来的解耦学习研究需要分清人为引入的归纳偏倚和监督(即便是隐式的)两者分别的作用,需要探究通过人为选取的损失「强迫」模型学习解耦带来的收益到底大不大,以及要形成能在多个不同的数据集上测试、结果可复现的实验惯例。这篇论文被 ICML 2019 接收。 论文地址:https://arxiv.org/abs/1811.12359

15日傍晚,法铁确认次日的火车服务将改善,同时巴黎公交公司也宣布,巴黎地区公交将“稍微改善”。

图为海东市乐都区圆梦居(九哈家)易地扶贫安置小区。马彩虹 摄

上榜理由:2019 年中,包括 OpenAI 在内的一批学者「老调重谈」地再次讨论起模型复杂度和过拟合的问题来。机器学习界流传已久的观念是,随着模型的复杂度增大(学习能力提高),模型总能得到更小的训练误差,但测试误差和训练误差的差会越来越大(出现过拟合);所以模型复杂度不能太低、也不能太高,我们需要找到相对平衡的那个点。(上面的 U 型图) 但这两年来,一大批超级大、超级复杂的模型用实际行动表明了训练误差和测试误差都还可以一同持续下降。所以这次讨论形成的新共识是,我们需要在 U 型图的右侧继续扩充,用来表示现代的、大容量的深度学习模型在大小超过某个阈值之后,越大的模型会具有越好的泛化性。这样,整张图就形成了双波谷的样子(下图) —— 也就是说,当你的模型大小很不幸地落在中间的波峰的时候,你就会遇到模型越大、 数据越多反而表现越差的尴尬情境。

上榜理由:三体运动问题没有解析解早有定论,所以这篇论文公开之后也引发了一些批评,毕竟论文只是尝试了极为简化的情况(三个质量相等、初始速度为零的粒子在同一个平面内)、只是做到了接近的数值解就拿出来张扬,而且还宣称比计算精确解的专业软件快十万倍,对网络的能力有夸大吹捧之嫌。 这篇论文也有积极的一面。以深度学习为代表的机器学习手段确实在各种端到端的学习预测任务中得到了越来越多的运用,但其实深度学习的能力也不仅如此,它还可以在许多领域的更多任务中发挥作用,正如三体运动这样的复杂问题中我们缺少可以快速计算近似解的工具。 论文地址:https://arxiv.org/abs/1910.07291 解读文章:https://www.yanxishe.com/blogDetail/14946

“住进小区小半年了,没有停过电、跳过闸,电用着安心着哩,我们住的也踏实。”李丰山边说边向服务队队员竖起了大拇指。

收敛一致性可能解释不了深度学习中的泛化现象 上榜理由:为了探究深度学习泛化能力背后的原理,学术界提出了泛化边界的概念,然后尝试用「收敛一致性」理论推导、设计出了各种各样的泛化边界描述方法,似乎已经取得了不少成果。但这篇论文中作者们通过大量实验发现,虽然其中的许多泛化边界从数值角度看起来挺大,但随着训练数据集大小变大,这些泛化边界也会跟着变大。 在此基础上,作者们用过参数化的线性分类器和梯度下降训练的神经网络为例,证明了收敛一致性并不能解释模型的泛化性,即便完全考虑了梯度下降可能带来的隐式偏倚也解释不了。更严谨地说,作者们实验表明,根据收敛一致性得到的泛化边界要比根据梯度下降得到的泛化边界大得多。根据这一系列结果,作者们对「用基于收敛的方法解释泛化能力」的做法提出严重的质疑。虽然这篇论文并没能解决(也没打算解决)深度神经网络中的泛化性问题,但它显然为整个领域指出「此路不通,考虑重来」。这篇论文获得 NeurIPS 2019 杰出新方向论文奖。 论文地址:https://papers.nips.cc/paper/9336-uniform-convergence-may-be-unable-to-explain-generalization-in-deep-learning

研究深度双波谷:更大的模型和更多的数据有时会产生负面作用

总理批评公共交通机构

上榜理由:虽然机器学习研究人员们总说通用人工智能是远大理想和努力方向,但「在固定的具体任务上跑分」的惯例实在看不出哪里和通用人工智能沾边了。谷歌大脑研究员、Keras 库作者 François Chollet 在日常抨击这种风气的同时,最近也公开了一篇严肃的论文,明确提出我们需要考虑如何测量真正的智慧。 他在论文中描述的核心想法是:要了解一个系统的智慧水平,应当测量它在一系列不同任务中表现出的获得新能力的效率;这和先验、经验、泛化难度都相关。论文中包含了对 AI、智慧相关概念的解释和讨论,他认为的理想的通用 AI 评价方式,以及他自己设计的认为比较能反映及测量真正的智慧的 ARC 数据集。对智慧的讨论和复制还有很长的路要走,这篇论文再次提醒大家对「我们应该从哪里开始、往哪里去」保持清醒。 论文地址:https://arxiv.org/abs/1911.01547 详细介绍:https://www.leiphone.com/news/201911/O808I44AABfVBQZs.html

雷锋网 AI 科技评论整理。

“将凑了一辈子,临了临了,我老汉还成了‘城里人’。”原住青海省海东市乐都区芦花乡丰洼村77岁的村民赵金福在九哈家易地扶贫安置小区分了房子。

为了让居者有其房,海东市采取移民安置、易地搬迁等措施,对受灾户实施大规模集中连片安置。电力部门超前实施通电工程,按台区分步推进,从电网配套设施前期勘察到通电服务实现精准服务,并为搬迁居民开设“绿色通道”,全力保障生活、生产用电。

图为海东市乐都区七里店易地扶贫安置小区。马彩虹 摄

“现如今我们老百姓都搬进了敞亮的新家,小区里得电是最早进入每户人家的,每家每户都置办了已家电,张罗着办年货呢……”赵金福说。

法国大罢工导致民众出行困难。巴黎公交公司呼吁民众取消或更改出行计划。 中新社记者 李洋 摄