国外最火的深度学习实践课新版发布，100%全新前沿内容(3)

尽管嵌入在 NLP 的单词嵌入环境中最为广为人知，但它们对于一般的分类变量也同样重要，例如表格数据或协同过滤。它们甚至可以与非神经模型一起使用，并取得了巨大成功。

△ 常见的有嵌入和无嵌入模型性能比较

第六课：正规化、卷积、数据伦理

这节课将讨论一些改进训练和避免过度拟合的强大技术：

• Dropout：在训练期间随机删除激活，使模型正规化

• 数据增强：在训练期间修改模型输入，有效地增加数据大小

• 批量标准化：调整模型的参数化，使损失表面更平滑。

△ 单个图像的数据增强示例

接下来，我们将学习卷积的所有知识，卷积可以被认为是矩阵乘法的一种变型，并且是现代计算机视觉模型的核心。

我们将利用这些知识创建一个类激活图，这是一个热图，显示图像的哪些部分在做出预测时最重要。

△ 卷积如何运作

最后，我们将讨论一个许多学生告诉我们的主题，这是课程中最有趣也是最令人惊讶的部分：数据伦理。

我们将了解模型可能出错的一些方式，特别关注反馈回路、它们导致问题的原因以及如何避免这些问题。

我们还将研究数据偏差会导致算法偏差的方式，并讨论数据科学家可以也应该提出的问题，以帮助确保他们的工作不会导致意外的负面结果。

△ 美国司法系统中算法出现偏差的例子

第七课：从头构建 ResNet 和U-Net、生成（对抗）网络

最后一节课了，要学习的第一项内容也是“现代架构中最重要的技术之一”：跳跃连接。

关于跳跃连接，这节课会讲到 ResNet 和U-Net 架构。

ResNet 是跳跃连接最知名的应用，整套课程讲图像识别时也是从头到尾都在用 ResNet。

而U-Net 用的是另一种跳跃连接，它的作用是优化分割结果，以及其他输出和输入结构差不多的任务。

△ ResNet 跳跃连接对损失表面的影响

学习了U-Net 之后，就要用它训练一个超分辨率模型。这个模型不仅能把渣图变清晰，同时还能清除 jpeg 图片上的伪迹和文字水印。

为了让模型结果更好，这节课还会带着学生们结合特征损失（feature loss，或者叫感知损失 perceptual loss）和 gram 损失，创建自定义的损失函数。这是图像上色等生成任务中常用的技术。

△ 用特征损失和 gram 损失得到的超分辨率结果

接下来，就要学习 GAN 里使用的生成对抗损失了，有些情况下它能牺牲一些速度，增强生成模型的质量。

这节课展示的一些技术来自未发表的研究，包括：

• 用迁移学习更快更可靠地训练 GAN；

• 将架构创新和损失函数以前所未有的方式结合。

Jeremy 在课程介绍中保证：结果惊艳，训练只需几小时，再也不用像以前一样花上好几天。

△ 一个循环神经网络

最后，这节课还要教你从头开始构建一个循环神经网络，也就是整套课程 NLP 内容都在用的基础模型。实际上，RNN 是规则的多层神经网络的一个简单重构。

嫌吴恩达老气的另类“慈善机构”

这门课背后的 fast.ai，在深度学习界算是独树一帜。

fast.ai 由 Kaggle 大神 Jeremy Howard、后悔读了博的数学博士 Rachel Thomas、原本在巴黎教了 7 年书的 Sylvain Gugger 联合创办。

他们是真正的实践派，课程以“教实用的东西、高效解决问题”为核心追求，非常重视工程实现细节。

在去年发布更基础的“程序员的机器学习入门”课程（Introduction to Machine Learning for Codes）时，他们赞扬了吴恩达老师的入门课 worderful 之后就接了个“但是”：但是，它现在有显得太老气了，特别是作业还得拿 Matlab 写。

fast.ai 的课程就非常紧跟程序员的实践潮流，用 Python 编程，用交互式的 Jupyter Notebooks 学习。

同时，他们也非常鼓励学生去参加 Kaggle 竞赛，检验自己的能力。

fast.ai 不仅课程内容上新潮，还堪称“慈善组织”：

课程全都免费，连个“收费领取证书”的设定都没有。

Jeremy 曾经说：“我们的商业模式就是：花自己个人的钱做点事情，帮人使用深度学习。”有人担心“商业模式”不可持续的时候，Jeremy 还硬怼了回去：

（编辑：ASP站长网）