李宏毅机器学习深度学习

目录

批量和动量（Batch & Momentum）

对应视频：P20
对应pdf：05_Batch and Momentum.pdf

Batch

Batch大小的选择

大的Batch Size,会让我们倾向於走到峡谷裡面,而小的 Batch Size,倾向於让我们走到盆地裡面
但这只是一个解释,那也不是每个人都相信这个解释,那这个其实还是一个尚待研究的问题

表格比较

	小Batch	大Batch
更新速度（非并行）	更快	更慢
更新速度（并行）	相同	相同（不是太大时）
遍历一次数据的时间	更慢	更快
梯度下降	噪音	稳定
最优化结果	更好	更糟
普遍性（抗过拟合）	更好	更糟

动量

李宏毅解释了为什么会叫 “动量”，弹幕说类似退火？