大海

SIMPLE THE COMPLEX

发表于 更新于 分类于
本文字数： 8.9k 阅读时长 ≈ 16 分钟

逻辑回归常用于二元分类任务，其使用交叉熵损失进行梯度计算，实现步骤如下：

  1. 加载、打乱、标准化训练和测试数据
  2. 设计分类器、损失函数和梯度更新函数
  3. 用训练数据计算目标函数和精度
  4. 用训练数据计算损失函数和梯度，并更新梯度
  5. 重复3-4步，直到精度达到要求或达到指定迭代次数
  6. 用测试数据计算目标函数和精度

使用numpy和pytorch分别实现小批量梯度下降的2分类逻辑回归

阅读全文 »

发表于 更新于 分类于
本文字数： 8.1k 阅读时长 ≈ 15 分钟

首先利用numpy实现梯度下降解决多变量线性回归问题，然后逐步将操作转换成pytorch

实现步骤如下：

  1. 加载训练数据
  2. 初始化权重
  3. 计算预测结果
  4. 计算损失函数
  5. 梯度更新
  6. 重复3-5步，直到完成迭代次数
  7. 绘制损失图

多变量线性回归测试数据参考ex1data2.txt

阅读全文 »

发表于 更新于 分类于
本文字数： 5.5k 阅读时长 ≈ 10 分钟

梯度下降是求解函数最小值的算法，也称为最速下降法，它通过梯度更新不断的逼近最优解

常用的比喻是下山问题，通过计算梯度能够找到函数值变化最快的地方，通过步长决定收敛的速度

梯度下降方法包括批量梯度下降、随机梯度下降和小批量梯度下降，下面通过梯度下降计算多变量线性回归问题

阅读全文 »

发表于 更新于 分类于
本文字数： 555 阅读时长 ≈ 1 分钟

指定标签块名

标签页1

标签页2

标签页3

指定标签块名+起始标签页+标签页名

This is Tab 1.

This is Tab 2.

This is Tab 3.

指定标签块名+起始标签页+FontAwesome符号

This is Tab 1.

This is Tab 2.

This is Tab 3.

子标签块设置

This is Tab 1.

This is Tab 2.

This is Tab 3.

This is Sub Tab 1.

This is Sub Tab 2.

This is Sub Tab 3.

嵌套子标签块设置

This is Tab 1.

This is Tab 2.

This is Tab 3.

This is Sub Tab 1.

This is Sub Tab 2.

This is Sub Tab 3.

This is Sub-Sub Tab 1 of Sub Tab 3.

This is Sub-Sub Tab 2 of Sub Tab 3.

This is Sub-Sub Tab 3 of Sub Tab 3.

相关阅读

发表于 更新于 分类于
本文字数： 1k 阅读时长 ≈ 2 分钟

正态分布（normal distribution），也称为常态分布，高斯分布（gaussian distribution），是连续随机变量概率分布的一种，自然界中大量现象符合正态分布，比如身高/体重/成绩/收入/寿命

阅读全文 »

发表于 更新于 分类于
本文字数： 604 阅读时长 ≈ 1 分钟

在多变量回归或分类问题上，需要保证这些变量的取值范围具有同一尺度

原因一：确保大尺度变量不会左右分类器的分类结果。如果分类器利用结果变量的距离来计算损失函数，那么小尺度变量的变化会被忽略，大尺度变量会决定分类效果 原因二：帮助梯度下降算法收敛更快。参考机器学习--特征缩放/均值归一化，从损失函数等值线图可知，变量在同一尺度下能够更快的通过梯度下降算法收敛

常用的特征缩放方法包括标准化（或称为规范化）和区间缩放

阅读全文 »