Course Information

课程简介

本课程的目的是提供一个完整的机器学习介绍，讨论通过经验自动提高性能的计算机程序（例如，学习识别人脸、推荐音乐和电影以及驱动自主机器人的程序）。

课程描述

本课程从不同角度涵盖了机器学习的理论和实践算法：理论概念包括归纳偏见、PAC学习框架、贝叶斯学习方法和奥卡姆剃刀；编程作业包括各种学习算法的实践实验。 本课程旨在为希望掌握现代人工智能技术的学生提供一个坚实的基础，并为希望在未来从事机器学习研究的学生提供必要的方法、技术、数学和算法。

该课程将涉及以下主题：

• 决策树学习，线性模型
• 模型选择和优化，统计学习方法
• 神经网络、深度学习
• 非参数模型，集合学习

关键字: 机器学习，统计学习，深度学习

先修课程

我们希望你在参加这个课程之前具备以下技能：

必修：

• 线性代数（向量，矩阵计算，欧几里得空间）。
• 微分计算（Jacobian, Hessian, 链式法则）。
• 概率和统计学（常见分布，大数定律，条件概率，贝叶斯）。
• 精通一种编程语言（推荐使用Python）。

选修：

• 数值优化（最小值的概念，梯度下降）。
• 算法分析（计算成本）。
• 专业知识（视觉计算、机器人学、语音和语言处理）。

教学计划

本课程安排为12周的课程（每周4小时）。

1. Introduction 导言，Preliminaries 预备知识
2. Decision Trees 决策树
3. Linear Models 线性模型
4. Model Selection 模型选择
5. *Nonparametric Models 非参数化模型
6. *Ensemble Learning 集成学习
7. *Statistical Learning Concepts 统计学习概念
8. *Probability Models: Complete Data 概率模型：完备数据
9. *Probability Models: Hidden Variables 概率模型：隐变量
10. Feedforward Networks 前馈网络，Back Propagation 反向传播
11. Deep Learning Computation 深度学习计算
12. Convolutional Neural Networks 卷积神经网络
13. Modern Convolutional Neural Networks 现代卷积神经网络
14. Recurrent Neural Networks 循环神经网络
15. Modern Recurrent Neural Networks 现代循环神经网络

实验计划

1. Decision Trees 决策树
2. Linear Regression 线性回归
3. Linear Classification 线性分类
4. *Nonparametric Models 非参数化模型
5. *Ensemble Learning 集成学习
6. Feedforward Networks 前馈网络
7. Convolutional Neural Networks 卷积神经网络
8. Recurrent Neural Networks 循环神经网络

教学方法

以解决实际问题为导向，教学与实践并重。

每个主题大致分为3个渐进单元：

1. 核心概念：提供该主题的基本知识
2. 进阶讨论：提供深入的理解和数学公式
3. 实践技巧：通过实践编程培训提供解决问题的技巧

考核方法

• 出席和参与：20%
  • 到课情况、课堂互动
• 对课题的理解：30%
  • 作业、实验报告、在线学习问题
• 期末考试/报告：50%
  • 开卷考查/实践项目
  • 荣誉（加分）：10%
    • 解决实际问题并通过答辩
    • 竞赛取得名次并分享思路

参考教材

不是必须的，但推荐使用：

• Christopher Bishop, Pattern Recognition and Machine Learning
• Zhang et al., Dive into Deep Learning
• Friedman et al., The Elements of Statistical Learning
• Murphy, Probabilistic Machine Learning: An Introduction

其他资源

• 课程网页¹
• 动手学深度学习²
• PRML Book³
• Probabilistic Machine Learning: An Introduction⁴
• Mathematics for Machine Learning⁵