|
深度学习2018下半年关键技术大盘点：模型、社区与框架
2018.12.9
本文总结了2018年下半年，最火的开源框架、模型，以及社区。同时还提到一个有趣的现象，每20分钟就有一篇AI论文现世。最后作者为读者推荐3本经典深度学习教程。
禅师从来没有感受过像2018这么冷的寒冬。所有的行业，仿佛都像中了冰冻减速一样，又慢，又冷。 可就在这一片冷清中，有一个领域却成了这个冬天里，为数不多的火炉：深度学习（Deep Learning）。 距离圣诞节还有2周；离元旦还有3周。眼看今年的余额就要用完了，可各大论文网站却依然没有任何，要盘点这半年来深度学习技术发展的迹象。 于是两个人坐不住了。他们是ROSs Taylor和Robert Stojnic，两人想办法搞到了Papers With Code的数据。
Papers With Code是一个社区，致力于将DL研究论文和代码实现相结合。 本文由原作者Ross Taylor授权新智元发布。Ross Taylor来自伦敦，毕业于剑桥大学。Atlas ML公司联合创始人，CTO。
两个小伙子，就这么对着这些天真无邪的数据，下手了！花了两个星期，总结出2018下半年，深度学习最关键性的技术发展。 大厂发布的最受欢迎开源模型 第一名必须是Google AI发布的BERT 业界有种说法，NLP是人工智能最后的皇冠，显然BERT是目前这个皇冠上最璀璨的明珠。 BERT模型全称Bidirectional Encoder Representations from Transformers，是一种新型的语言模型，通过联合调节所有层中的双向Transformer来训练预训练深度双向表示。 只需要一个额外的输出层，对预训练BERT进行微调，就可以满足各种任务，根本没有必要针对特定任务对模型进行修改。这就是为什么BERT模型能做在11项 NLP 任务上取得突破进展的原因。 Google AI的BERT论文，在10月份一经发布就获得广泛关注。随后Google AI开源了BERT，在Github上已经获得超过8000星。 第二名是NVIDIA（英伟达）的vid2vid (Video-to-Video Synthesis) 这个模型最厉害的地方在于，可以根据已有视频，渲染出非常逼真的新视频。比如，禅师跳舞非常没有天赋，但是禅师又很希望能跳的跟抖音啊、B站啊、快手上的网红一样好。 于是禅师就可以找一段网红跳舞的视频，同时把自己的形象作为输入，交给vid2vid。最终，vid2vid可以渲染出一段禅师跳舞的视频，跳的跟网红一样好。 👆图中右边的男生是论文合作作者，他最后对着镜头说“这是机器生成的，不是我跳的”。 第三名是Google DeepMind的graph_nets 图形网络可以概括和扩展各种类型的神经网络，以在图形上执行计算。 它可以实现关系归纳偏差，这是一种用于推理对象间关系的技术。 图形网络框架基于图形到图形模型，每个图的功能都有三个特征： 图形网络将图形作为输入，从边缘，节点和全局属性执行所需的操作和计算，然后返回新图形作为输出。 Graph_nets探索如何在深度学习架构中使用关系归纳偏差来促进对实体，关系和组成它们的规则的学习。 最火的开源框架和最活跃的领域 框架方面。两级分化严重，市场基本被两个巨头垄断了。 首先感谢Gogole的用力推广，TensorFlow毫无疑问的成为最受欢迎的DL框架。 另一个巨头PyTorch并没差太多，同样拥有可观的用户量。 而最活跃的领域是NLP和GAN们。 最火的DL社区 第一名是DeOldify项目 创建者Jason Antic实现了生成建模领域的多篇论文中的技术，包括Ian Goodfellow领头提出的自注意力机制GAN、Progressive Growing GANs、two time-scale update rule。在GitHub上有超过4,000星。 第二名是BERT implementation for PyTorch 社区由Junseong Kim创建。虽说BERT用TensorFlow是顺理成章的事情，但PyTorch也有不少簇拥，所以也获得了不少关注。 第三名是使用Keras/TensorFlow实现Mask R-CNN的社区 项目创建者是Waleed Abdulla。该项目使用FPN和ResNet101 backbone，并且该库可用于许多应用场景，例如3D建筑物重建、自动驾驶汽车的物体检测、检测地图中的建筑物类型等。 番外 除了这几个最火的东西外，还有一些比较有趣的数据，值得回味。 按照这个速度，再过25天，我们就能看到机器学习的论文要突破30000篇了。什么概念同志们？比4万少一万，比2万多一万呐！ 按照成年人平均阅读速度300单词/分钟来算，20分钟基本上也读不完一篇论文。禅师掐指一算，恐怕人工智能论文审核人员，是唯一不仅不担心被人工智能抢走饭碗，反而急切盼望人工智能来辅助工作的人了。 只有12%的论文包含代码 经过爬取超过近5年来6万篇机器学习论文，发现只有12%左右的论文包还有代码。哪些没有代码的论文，意思是让读者自己脑补代码吗？恐怕不是这样吧，那么具体什么原因呢？恐怕大家心里也有数。 不过这种情况正在好转。今年下半年，包含代码的论文占有所提升，涨到了15%。 前景展望 可复用性代码造福更多开发者 社区在可复用性代码方面虽然取得了不小的进展，但事实上我们只有1/7的覆盖率，意味着我们还有更多的工作要做。 因此我们认为，在未来，更多的社区将在可复用的开源ML代码方面，发挥重要作用，从而可以服务更广大开发者，而不用像过去那样，只能依赖特定的研究人员。 独立机器学习社区蓬勃发展 “机器学习独立社区”，就是那些独立于在Google或Facebook等大厂之外、由用户、爱好者自发创建的社区。 独立社区的发展，将有助于推动代码的研究发展，以及验证论文结果是否成功。 BONUS 作者向新智元的读者推荐了3本对他帮助最大的机器学习、深度学习书籍，分别是： - 《深度学习》（又称“花书”）作者Ian GoodFellow。本书的权威性不用多说，甚至很多知识付费社区会请一个AI相关专业的人作为老师，带领学员共同学习这本书。有点高考补习班的感觉
- 《机器学习基于概率论观点》作者Bishop。注意不是Murphy版本！相比而言，B的教材对数学的要求高，更偏重概率论；M版本话题更宽泛，章节之间独立性相对较强
- 《信息理论、推理和学习算法》作者Sir David MacKay。Ross认为本书部分内容与当代科技有所脱节，但整体而言仍然非常经典，值得一读
希望对有志于投身机器学习的开发者、学者有所帮助。
本文由原作者Ross Taylor授权新智元发布
| 
/1 
|Archiver|手机版|小黑屋|陕ICP备15012670号-1
发表于 2018-12-9 15:00:21
收藏