神经网络和深度学习
神经网络和深度学习
|
课程编号： |
AI517 |
课程性质： |
专业选修课 |
|
|
课程名称： |
神经网络和深度学习 |
学时学分： |
32/2（讲课32） |
|
|
英文名称： |
Neural Networks and Deep Learning |
考核方式： |
开卷考试 |
|
|
选用教材： |
Ian Goodfellow, Yoshua Bengio and Aaron Courville. Deep Learning[M], MIT Press, 2016. |
|||
|
大纲执笔人： |
赵邑新 |
大纲审核人： |
刘强 |
|
|
适用学科（领域）： |
控制科学与工程等相关学科领域 |
|||
|
执行时间： |
20201020 |
|||
一、课程目标：
本课程是控制科学与工程学科硕士研究生的专业选修课，本课程的教学目的是，通过本课程的学习，使学生掌握以下能力：
（1）掌握神经网络的发展历史和设计思想，培养学生发现问题、解决问题的基本能力。
（2）掌握几种主要的神经网络训练和优化算法，并具有设计模型的能力。
（3）掌握几个基本深度学习模型及其训练算法，了解当今深度学习的前沿进展和成果应用，提高学生对某些具体问题的建模能力，激发学生对人工智能的学习兴趣。
二、内容提要与要求
1、内容提要
当前人工智能领域发展迅速，特别是以神经网络、深度学习为代表模型和方法在图像、视频、语音、文本等多个应用领域取得了巨大进展。本课程主要围绕神经网络的基础模型和最新的深度学习模型等知识点展开。主要内容包括神经网络基本原理与优化方法、感知机、逻辑回归、前馈型神经网络、Backpropagation (BP)算法、降维与重构、自编码器、卷积神经网络(CNN)、递归神经网络、长短期记忆网络(LSTM)、状态回声网络等，主要让学生熟悉主流神经网络模型的原理、设计思想，掌握几种主要的神经网络训练和优化算法，了解当今深度学习的前沿进展和成果应用，并初步了解人工智能最前沿的研究方法。
2、教学内容与要求
|
教学内容 |
教学要求 |
|
第1章 课程概述 1.1 人工智能概述 1.2 神经网络,深度学习与人工智能 1.3 课程整体安排和要求 |
理解本课程所学内容在人工智能方向的作用与任务，了解本课程要学习的基本内容架构。 |
|
第2章 神经元与神经网络基础知识 2.1 神经元模型 2.2 神经网络发展历史 2.3 模型参数 |
了解人工智能的发展，特别是神经网络的发展历史，理解人工神经网络中的神经元模型，掌握神经网络的基本模型及参数。 |
|
第3章 感知器与逻辑回归 3.1 感知器模型 3.2 逻辑回归模型 |
掌握感知器模型的设计与学习过程，掌握逻辑回归模型的原理和参数，理解感知器在人工神经网络中地位和逻辑回归在神经网络中的作用。 |
|
第4章 深度前馈网络 4.1 深度前馈网络的结构 4.2 前馈网络设计 4.3 深度前馈网络的应用 |
掌握前馈网络设计与学习过程，理解前馈网络到深度前馈网络的发展过程，以及深度前馈网络成功的应用领域。 |
|
第5章 深度学习中的正则化 5.1 过拟合的概念 5.2 正则化方法 5.3 正则化方法在深度学习中的作用 |
理解过拟合的概念，掌握正则化方法的定义、以及正则化方法在深度学习中的作用。 |
|
第6章 深度学习中的优化 6.1 优化在深度学习中的作用 6.2 随机梯度下降算法 |
理解优化的作用，掌握随机梯度下降算法。 |
|
第7章 卷积神经网络 7.1 卷积神经网络的训练和流行架构 7.2 卷积神经网络的应用 |
掌握卷积神经网络的结构设计、训练方法，理解卷积操作和池化操作各自的作用，了解当前主要深度卷积神经网络结构及其应用。 |
|
第8章 递归神经网络 8.1 一般递归神经网络的训练和流行架构 8.2 状态回声递归神经网络(ESN)的原理与实现 8.3长短期记忆网络(LSTM)的原理、设计与应用 |
掌握一般递归神经网络的结构、训练方法，理解递归神经网络与前馈神经的区别和联系，掌握长短期记忆能力网络(LSTM)设计，了解当前递归神经网络的应用。 |
|
第9章 主成分分析和独立成分分析 9.1 降维的概念 9.2 成分分析过程 9.3独立成分分析过程 |
掌握降维概念、主成分分析方法以及独立成分分析。 |
|
第10章 自编码器 10.1 自编码器的概念 10.2 自编码器的设计 10.3 自编码器的训练 |
掌握自编码器的设计与训练。 |
|
第11章 生成对抗网络及课程总结 11.1 生成对抗网络的基本思想 11.2 生成器和判别器的设计与训练 11.3 课程总结 |
掌握生成对抗网络的基本思想，理解生成对抗网络的训练及应用。 |
三、教学进度与学时分配
1、理论课（32学时）
|
第1章 课程概述 |
2学时 |
|
第2章 神经元与神经网络基础知识 |
2学时 |
|
第3章 感知器与逻辑回归 |
2学时 |
|
第4章 深度前馈网络 |
2学时 |
|
第5章 深度学习中的正则化 |
4学时 |
|
第6章 深度学习中的优化 |
4学时 |
|
第7章 卷积神经网络 |
4学时 |
|
第8章 递归神经网络 |
4学时 |
|
第9章 主成分分析和独立成分分析 |
4学时 |
|
第10章 自编码器 |
2学时 |
|
第11章 生成对抗网络及课程总结 |
2学时 |
四、教学方式
以OBE(学习产出)理念，明确课程教学目标及教学要点，反向设计课程教学环节和教学方法，依据教学效果持续改进课程教学。
课程教学目标：相关教学要点，掌握神经网络及深度学习的发展历史和设计思想，培养学生发现问题、解决问题的基本能力，建立算法实现的理论基础。
课程设计原则：数学概念、物理概念、工程概念并重；理论教学、课后实践、代码编写相结合；现代教育技术与传统理论教学相融合；做中学、学中做。
课程教学过程：为实现课程教学目标，将理论课程、课堂实践等统一安排有机结合，有序提升学生的分析方法的理论分析设计能力。
教学环节：课堂讲授、程序编写。
五、建议参考书
教 材：Ian Goodfellow, Yoshua Bengio and Aaron Courville. Deep Learning[M], MIT Press, 2016.
参考书：1. Simon Haykin. Neural Networks and Learning Machines [M]. 机械工业出版社, 2009.
2. 周志华. 机器学习[M]. 清华大学出版社, 2016.
3.Geoffrey Hinton, Neural Networks for Machine Learning，https://www.coursera.org/learn/neural-networks
4. Domingos, Pedro. A few useful things to know about machine learning [J]. Communications of the ACM 55.10, 2012: 78-87.
六、成绩评定方法
1、评分类型：五级制
2、总评成绩
平时成绩（含作业、出勤）30%；
期末考试70%；
3、评分标准
|
序号 |
考核内容 |
考核办法 |
|
1 |
平时成绩 |
评分形式：10级计分 根据平时课堂提问、课堂小测验和出勤情况给分。 |
|
2 |
期末考试 |
评分形式：百分制，开卷考试 共8-10道大题，满分100分，主要考核机器学习的基本理论和算法，包含监督、非监督学习等算法的分析及应用设计。 |
注：本课程大纲参照了华南理工大学计算机科学与工程学院《神经网络与深度学习》教学大纲
