大海

神经网络/卷积神经网络中存在很多的超参数，并且随着优化技术的发展，越来越多的超参数被加入进来，最常见的超参数包括：

1. 初始学习率
2. 学习率衰减机制（比如衰减常数）
3. 正则化策略（L2惩罚，随机失活强度）

大多数超参数在训练过程中相对固定，比如动量大小，衰减常数等，cs231n提出一些学习技巧来帮助搜索最佳的超参数值

合理的权重初始化操作有助于实现更快的训练和得到更好的结果，cs231n中讨论了不同的初始化权重方式：Weight Initialization

创建模型，进行数据集训练之前可以进行合理性检查（sanity check），参考Before learning: sanity checks Tips/Tricks，有助于更好的判断模型有效性

cs231n中给出了3个技巧：

1. 寻找正确损失值
2. 判断正则化强度有效性
3. 过拟合小数据集

通过数值梯度（numerical gradient）和解析梯度（analytic gradient）的比较进行梯度检查，这个过程有助于得到更准确的网络

学习Gradient checks中提到的技巧和注意事项

单元测试（unit testing，简称UT）是用于测试源代码不同单元的软件测试方法， 能够有效提高代码质量和可维护性

主要内容：

1. 什么是TDD
2. 实现流程
3. 开发风格
4. 优点
5. 是否需要TDD

在分类问题上经常会遇到一个名词 - 决策边界。对它有一些了解但是没有很多的认识，同时很难直观去理解高维数据分类问题的决策边界

理清决策边界的概念，同时可视化决策边界

参考线性SVM分类器实现神经网络分类器。cs231n assignment2中实现了自定义层数和数量的神经网络模型，参考其实现完成单个类的神经网络分类器

模仿线性SVM分类器实现softmax分类器

参考线性SVM分类器实现逻辑回归分类器，并进行决策边界可视化