课程信息

课程简介

本课程会对更广范围的人工智能和机器学习进行简要历史回顾，但核心讲授内容是深度学习。

因此主要主题就是处理深度神经网络的一些现代技术：

• 如何设计？
• 如何训练？
• 如何评价？

课程内容

本课程涉及到的一些问题与概念：

• 什么是深度学习，及其怎样从人工智能和机器学习衍生出来？
• 张量，多层感知机，前向、后向传播
• 广义神经网络，自动微分，批处理，卷积神经网络
• 初始化，优化，正则化，Drop-out，ResNet
• 计算机视觉中的深度学习模型
• 深入理解与分析深度学习原理
• 序列化模型，自然语言处理
• 自动编码器，生成模型

建议先修课程

必修：

• 线性代数（向量，矩阵计算，仿射变换）
• 微分学（Jacobian, Hessian，链式法则）
• 概率与统计（常见分布，大数定律，条件概率，贝叶斯定理）
• 精通一种编程语言（推荐使用Python）.

选修：

• 数值优化（极小值，梯度下降）
• 算法分析（计算复杂度）
• 专业知识（视觉计算、机器人学、语音和语言处理）

课程计划

1. Introduction 导言：什么是深度学习
2. Preliminaries 预备知识
3. Linear Neural Networks 线性神经网络
4. Multilayer Perceptrons 多层感知机
5. Deep Learning Computation 深度学习计算
6. Convolutional Neural Networks 卷积神经网络
7. Modern Convolutional Neural Networks 现代卷积神经网络
8. Computer Vision: Applications I 计算机视觉应用I
9. Computer Vision: Applications II 计算机视觉应用II
10. Recurrent Neural Networks 循环神经网络
11. Modern Recurrent Neural Networks 现代循环神经网络
12. Natural Language Processing: Applications I 自然语言处理应用I

对于同时学修《自然语言处理》的班级，课程关于NLP的部分将调整为如下内容：

10. Attention Mechanisms 注意力机制
11. Transformers and Pretraining Transformers及预训练
12. Natural Language Processing: Applications II 自然语言处理应用II

教学方法

每个讲座大致分为3个渐进单元。

1. 核心概念：提供该主题的基本知识
2. 进阶讨论：提供深入的理解和数学公式
3. 实践技巧：通过实践编程培训提供解决问题的技巧。

考核标准

• 听讲与参与：20%
  • 到课情况、课堂互动
• 课程理解：30%
• 最终考试/考查：50%
  • 荣誉（加分）：10%
    • 解决实际问题并通过答辩
    • 竞赛取得名次并分享思路

参考教材

选用教材：《动手学深度学习》

资源

• 课程网页¹
• 动手学深度学习²
• HUNG-YI LEE (李宏毅), MACHINE LEARNING 2022 SPRING³