• 专业课程

统计学习方法

当前位置：首页 >> 专业课程 >> 统计学习方法
　

统计学习方法

《统计学习方法》教学大纲

课程编号：

AI510

课程性质：

专业选修课

课程名称：

统计学习方法

学时学分：

48/2（讲课32+课堂实验16）

英文名称：

Statisitc Learning Method

考核方式：

开卷考试

选用教材：

李航. 统计学习方法（第二版）. 北京：清华大学出版社. 2019.5

大纲执笔人：

虞欣

大纲审核人：

刘强

适用学科（领域）：

控制科学与工程等相关学科领域

执行时间：

2020.9.1
         
 

 

一、课程目标：

本课程是控制科学与工程学科硕士研究生的专业选修课，机器学习是人工智能系统中的一个重要组成部分，研究机器学习的基本理论、方法和实践。本课程的教学目的是，通过本课程的学习，使学生掌握机器学习基本原理、算法和实践应用领域，培养学生在理解的基础上选择并利用机器学习的常用算法，运用技能解决本专业和相关领域的实际问题的能力。

二、内容提要与要求

1、内容提要

本课程主要讲解机器学习的基本原理、算法和实践，代表性方法包括线性回归、逻辑回归、贝叶斯分类器、模型评估与选择、K-均值算法和EM算法、决策树、神经网络、隐马尔科夫模型、支持向量机、推荐系统、主成分分析等；应用包括文本分类、车牌识别、自然语言处理、推荐系统、人脸识别等。学生通过学习可以掌握或了解机器学习基本理论及应用领域。

重点掌握下列几方面的知识：

（1）贝叶斯决策理论；

（2）概率密度函数的估计；

（3）线性判别函数与非线性判别函数；

（4）特征的选择与提取，基于K-L变换的多类模式特征提取；

（5）聚类分析；

（6）模糊模式识别方法；

（7）神经网络模式识别法；

2、教学内容与要求

教学内容

教学要求

第1章 机器学习介绍
1.1机器学习简介
1.2基本概念
1.3 Matlab数据格式和Python基础
1.4示例数据集
1.5 了解你的数据

了解机器学习的基本概念，以及一些实践基础。

第2章 线性回归
2.1引言：一个简单的例子
2.2最小二乘法
2.3梯度下降
2.4多变量线性回归
2.5多项式回归

1.理解线性回归原理
2.理解最小二乘法和梯度下降算法

3.理解多变量线性回归和多项式回归的概念和应用领域

第3章 逻辑回归
3.1逻辑回归介绍
3.2逻辑回归算法
3.3多元分类

了解逻辑回归的概念和算法及其在多元分类问题中的应用

第4章 贝叶斯分类器
4.1  简介

4.2  高斯判别分析

4.3  朴素贝叶斯

 

1.理解贝叶斯分类器的分类原理

2.了解判别模型和生成模型

3.理解极大似然估计

4. 理解解高斯判别分析

5.理解朴素贝叶斯算法

第5章 模型评估与选择
5.1  简介

5.2  评估方法

5.3  性能度量

5.4  偏差与方差折中

1.理解模型选择的概念

2.了解模型评估方法和性能度量

3.了解偏差与方差折中

 

第6章 K-均值算法和EM算法
6.1  聚类分析

6.2  K-均值算法

6.3  EM算法

1．理解无监督学习

2．理解K-均值算法和EM算法的优缺点和适用范围

 

第7章  决策树
7.1  决策树介绍

7.2  ID3算法

7.3  C4.5算法

7.4  CART算法

1．理解有监督学习

2．理解ID3算法、C4.5算法和CART算法的优缺点和适用范围

 

第8章  神经网络

8.1  神经网络介绍

8.2  神经网络学习

8.3  深度学习

 
  1. 理解神经网络的基本原理
  2. 了解前馈神经网络，多层感知器、深度学习等结构

第9章  隐马尔可夫模型

9.1  隐马尔可夫模型基本概念

9.2  求解HMM的三个基本问题

1. 理解隐马尔可夫模型的基本概念

2. 重点掌握HMM的学习算法和预测算法

第10章 支持向量机
10.1介绍
10.2对偶算法
10.3非线性支持向量机
  1. 理解支持向量机原理
  2. 理解支持向量机的对偶算法
  3. 掌握核技巧和常用核函数

第11章 推荐系统
11.1推荐系统基础
11.2推荐系统通用模型
11.3推荐系统评测
  1. 理解推荐系统的应用场景
  2. 理解相似度计算
  3. 了解几种常用的推荐系统模型
  4. 了解推荐系统评测方法和指标

第12章 主成分分析
11.1主成分分析原理
11.2 PCA算法
  1. 理解主成分分析的基本原理
  2. 掌握PCA算法的实现和应用

 

三、教学进度与学时分配

1、理论课（32学时）

第1章 概论                 2学时

第2章 线性回归                 4学时

第3章 逻辑回归                 2学时

第4章 贝叶斯分类器             4学时

第5章 模型评估与选择               2学时

第6章 K-均值算法和EM算法          2学时

第7章 决策树                   2学时

第8章 神经网络                 4学时

第9章 隐马尔可夫模型               2学时

第10章 支持向量机              2学时

第11章 推荐系统                2学时

第12章 主成分分析              4学时

2、课堂实验课（16学时）

（1）波士顿房价预测的程序实现与讲解         4学时    设计性实验（必做）

实验目的：掌握线性回归算法的程序设计与编写，通过答辩实现学生的实践创新能力等综合素质能力的训练和提高。

（2）基于聚类的图像压缩程序实现与讲解           4学时    设计性实验（必做）

实验目的：掌握K-means迭代算法的程序设计与编写，通过答辩实现学生的实践创新能力等综合素质能力的训练和提高。

（3）手写数字识别的程序实现与讲解           4学时    设计性实验（必做）

实验目的：掌握神经网络算法的程序设计与编写，通过答辩实现学生的实践创新能力等综合素质能力的训练和提高。

（4）鸢尾花分类的程序实现与讲解         4学时    设计性实验（必做）

实验目的：掌握SVM算法的程序设计与编写，通过答辩实现学生的实践创新能力等综合素质能力的训练和提高。

3、课后实验课

（1）人脸识别的设计与实现                       课后    设计性实验（选做）

实验目的：掌握CNN算法程序设计与编写、答辩等，训练学生的实践创新等综合素质能力。

（2）电影评论情感分析的设计与实现           课后    设计性实验（选做）

实验目的：掌握LSTM算法程序设计与编写、答辩等，训练学生的实践创新等综合素质能力。

 

四、教学方式

以OBE(学习产出)理念，明确课程教学目标及教学要点，反向设计课程教学环节和教学方法，依据教学效果持续改进课程教学。

课程教学目标：相关教学要点，培养机器学习的思维方式，掌握模式识别的基本方法和基本定理,建立算法实现的理论基础。

课程设计原则：数学概念、物理概念、工程概念并重；理论教学、实验教学、代码编写相结合；现代教育技术与传统理论教学相融合；做中学、学中做。

课程教学过程：为实现课程教学目标，将理论课程、课堂实践等统一安排有机结合，有序提升学生的分析方法的理论分析设计能力。

教学环节：课堂讲授、程序编写，学生PPT讲解答辩。

五、建议参考书

教  材：李航. 统计学习方法（第二版）. 北京：清华大学出版社. 2019.5

参考书：1. 张学工. 机器学习入门之道. 人民邮电出版社. 2018

        2. 赵卫东，董亮. 机器学习. 人民邮电出版社. 2018

        3. 林荟. 套路！机器学习 北美数据科学家的私房课. 电子工业出版社. 2017

        4. 袁梅宇. 机器学习基础:原理、算法与实践. 清华大学出版社. 2018.8

六、成绩评定方法

1、评分类型：百分制

2、总评成绩

平时成绩（含作业、出勤）10%；

   实验成绩（预习报告占20%，实验操作情况占50%，实验报告占30%）30%；

   期末考试60%；

3、评分标准

序号

考核内容

考核办法

1

平时成绩

评分形式：10级计分

根据平时课堂提问、课堂小测验和出勤情况给分。

2

实验成绩

评分形式：30级计分

根据学生每个实验的程序编写、课题PPT讲解和实验报告等档案的整理评分，最后根据权重综合评分。

3

期末考试

评分形式：百分制，开卷考试

共8-10道大题，满分100分，主要考核机器学习的基本理论和算法，包含监督、非监督学习等算法的分析及应用设计。