本项目从一个能够手算的神经元开始,逐步构建能训练、预测并接受文本输入输出评阅的神经网络。先让每一步计算正确,再讨论训练效果。 本文给出完成项目所需的概念、公式、计算步骤、接口、数据协议与验收要求,不以阅读其他教学材料为前提。
先完成本节环境准备,再按M1至M4的24步实现。实现时可查阅附录A的函数接口,需要更多提示时查阅附录B。五道选择题必须完成,题面集中在附录C。提交前核对正文末尾的清单和评分标准。附录用于集中查阅,不表示题目或接口要求可以省略。
你需要会写 Python 函数、循环,能够使用 NumPy 数组并完成基本矩阵运算。本文会建立求导、链式法则及神经网络所需的具体知识,不要求已经学过反向传播。
神经网络把若干次“加权求和再经过非线性变换”的计算连接起来。输入是样本特征,输出是预测;其中可调整的数称为参数。给定输入和目标,损失衡量预测偏差;训练根据损失调整参数。把输入逐步算成输出称为前向传播,从损失对输出的导数出发,逐层计算损失对中间值和参数的导数,称为反向传播。这些过程将在下面用同一个例子展开。
最终实现支持任意有限隐藏层数、ReLU/tanh、回归与分类损失、小批量 SGD、预测和日志记录的网络。在 XOR、分段线性回归和 Iris 分类上分别检查表示、拟合与未见样本表现。
本项目按四周小组任务设计,独立按百分制评分;课程成绩占比、截止日期和提交入口由教师另行公布。最终交付可运行代码、原始日志、测试证据和填写后的项目报告。
下载学生包student.zip,解压后进入T10.feed_forward文件夹:
T10.feed_forward/
|-- 机器学习课程项目-任务书及评分标准.pdf
|-- 机器学习课程项目-报告模板.docx
|-- student_template.py
`-- requirements.txt
在终端进入该目录,安装依赖:
cd T10.feed_forward
python -m pip install -r requirements.txt后面的命令均在此目录运行。只编辑student_template.py的待实现部分;Iris数据已内嵌,无需下载。按各步的“本步实现与检查”使用手算、函数调用和实验验证结果;正式代码测试由平台执行。
Python使用3.10或更新版本,第三方依赖仅允许NumPy,其余使用标准库。不使用scikit-learn、matplotlib、自动微分、现成神经网络或优化器。有限差分仅用于检查,不代替解析梯度训练。
学生只编辑
student_template.py。它是一个完整的Python源文件,包含所有依赖导入、150行内嵌Iris数据、函数和入口。常量及已提供的适配部分保留,逐阶段完成标为TODO的待实现部分。
| 单文件中的部分 | 已提供内容 | 学生完成内容 |
|---|---|---|
| 内嵌数据与数据函数 | IRIS_CSV、CLASS_NAMES、load_iris、xor_data、regression_data | split_iris、standardize |
| 网络计算 | 函数签名和数组形状要求 | init_parameters、forward、loss_and_output_grad、backward、sgd_step、fit、predict |
| 实验组织 | experiment_main命令行解析 | run_experiment中的组织、评估与日志保存 |
| 文本评阅 | encode、evaluate、main及末尾入口 | 保留协议,由它们调用自己实现的函数 |
同一文件内函数之间直接调用,不需要导入另一个模块。正式代码测试由平台执行,本地按各步说明自行检查。
完成依赖安装后,在同一文件夹检查已提供的数据读取入口:
echo '{"op":"load_iris","summary":true}' | python student_template.py上面的命令适用于Bash,返回数据形状、类别数量及首行特征的JSON说明数据读取入口可以运行,不计分。按各节的验证方法自行检查。其余阶段的
NotImplementedError 表示对应功能尚未实现。不要使用
python -O,按既定数学与接口要求实现,不通过改变输入输出来回避检查。使用报告模板逐阶段记录关键结果,详细过程保存在附件;工具协助、未完成项和失败结果均须如实说明。
下面每步末尾说明修改哪个函数、如何检查以及何时可以继续。需要直接调用函数时,在代码文件夹中启动Python交互环境:
python进入交互环境后,先输入:
import numpy as np
import student_template as nn随后通过nn调用本步函数。例如,读取已提供的数据并检查形状:
x, y = nn.load_iris()
print(x.shape, y.shape)应得到(150, 4)和(150,)。函数需要数组时使用NumPy数组,回归实数数组用dtype=float,类别用dtype=int。临时计算和打印只放在交互环境,不追加到提交代码末尾。检查完退出交互环境:
exit()不要使用python -i student_template.py进行这些检查,因为它会先进入等待JSON的程序入口。
各步检查是学习和排错的辅助,不增加正式计分用例。各阶段自行检查计算与实验,正式代码测试由平台执行。
M1填写init_parameters和forward;M2填写loss_and_output_grad、backward与sgd_step;M3将forward和backward推广为多层,并完成fit和predict;M4填写split_iris、standardize、run_experiment。所有改动都在同一文件中,已经完成的函数在后续阶段继续复用。
| 阶段 | 先建立什么 | 再实现什么 | 完成标志 |
|---|---|---|---|
| M1 | 神经元、激活、矩阵形状 | 初始化与前向 | 手算、缓存、批量输出一致 |
| M2 | 损失、导数、链式法则 | 反向与一次更新 | 解析梯度与数值梯度一致 |
| M3 | 层间依赖、批次与状态 | 多层训练和预测 | 多层检查通过,XOR可训练 |
| M4 | 划分、指标、控制变量 | 回归、Iris、日志与比较 | 原始结果可复现,结论有证据 |
训练需要反复计算预测。如果预测本身尚不正确,损失和参数更新就没有可靠基础。本阶段先用固定参数完成每次乘加,再将计算组织为批量和多层形式。
一行输入 \mathbf{x}=(x_1,\ldots,x_d) 包含 d 个特征。给每个特征一个权重 w_j,再加一个不依赖输入的偏置 b,得到仿射值:
z=\sum_{j=1}^{d}x_jw_j+b.
权重决定各特征如何贡献,偏置整体平移结果。例如 \mathbf{x}=(2,-1)、\mathbf{w}=(0.5,-1)、b=0.25,则
z=2\times0.5+(-1)\times(-1)+0.25=2.25.
随后用激活函数把 z 变成该单元的输出 h=\phi(z)。本项目支持:
\operatorname{ReLU}(z)=\max(0,z),\qquad \tanh(z)=\frac{e^z-e^{-z}}{e^z+e^{-z}}.
其中 e\approx2.71828,e^z 表示自然指数。ReLU 把负值变为零,保留正值;tanh 把实数映射到 (-1,1)。实现 tanh 时可使用 NumPy 的基本数学函数,避免自己展开大指数。激活逐元素作用,不混合不同单元或不同样本。
| 仿射值 z | ReLU输出 | tanh输出(约) | 应观察的现象 |
|---|---|---|---|
| -1 | 0 | -0.761594 | 两种激活对负输入不同 |
| 0 | 0 | 0 | 此处输出相同不代表所有性质相同 |
| 1 | 1 | 0.761594 | tanh的幅值受限,ReLU可继续增长 |
此时先不学习权重。分别记录乘积、求和、偏置与激活,检查错误究竟出现在什么位置。
本步实现与检查
单元输出可以成为下一个单元的输入。隐藏层是输入和最终输出之间的中间计算;每层先做仿射计算,再对隐藏值激活。最终输出层只做仿射计算,其结果如何使用由回归或分类任务决定。
贯穿算例使用两个输入特征、一个 ReLU 隐藏单元、一个线性输出:
z=0.5x_1-x_2+0.25,\qquad h=\max(0,z),\qquad o=1.5h-0.5.
两个带参数的层分别具有隐藏参数 (0.5,-1,0.25) 和输出参数 (1.5,-0.5)。输入层不计为带参数的层。
| 输入 | 隐藏仿射值 z | 隐藏激活 h | 输出计算 | 输出 o |
|---|---|---|---|---|
| (2,-1) | 1+1+0.25=2.25 | 2.25 | 1.5\times2.25-0.5 | 2.875 |
| (0,2) | 0-2+0.25=-1.75 | 0 | 1.5\times0-0.5 | -0.5 |
第二行隐藏单元关闭,但输出偏置仍使结果为 -0.5。若程序把输出也强行经过 ReLU,就会错误地产生0。
动手顺序:先建立固定参数,计算一行,再计算第二行;按上表打印中间状态。随后自选一行输入,先预测再运行,作为独立变式。确认输出层没有隐藏激活,且前向函数不会改变原输入或参数。
本步实现与检查
设 B 为当前批量的样本数,d 为特征数,h 为隐藏层宽度,C 为输出宽度。输入 X\in\mathbb{R}^{B\times d} 每行一个样本。本项目始终使用这一约定,不在代码中混用行样本与列样本。
隐藏权重 U\in\mathbb{R}^{d\times h}、隐藏偏置 a\in\mathbb{R}^{1\times h}、输出权重 V\in\mathbb{R}^{h\times C}、输出偏置 c\in\mathbb{R}^{1\times C},于是
Z=XU+\mathbf{1}_B a,\qquad H=\phi(Z),\qquad O=HV+\mathbf{1}_B c.
\mathbf{1}_B 是 B\times1 的全1列。\mathbf{1}_Ba 表示每行加同一个偏置,程序中由广播完成。它不产生 B 组独立参数。矩阵乘法会对相邻层单元求和,而逐元素乘法不会;本项目用 \odot 表示逐元素乘法。
贯穿算例的数组为
X=\begin{bmatrix}2&-1\\0&2\end{bmatrix},\quad U=\begin{bmatrix}0.5\\-1\end{bmatrix},\quad a=[0.25],\quad V=[1.5],\quad c=[-0.5].
由矩阵乘法得到 Z=[2.25,-1.75]^T,激活后 H=[2.25,0]^T,输出 O=[2.875,-0.5]^T。三个数组都是
(2,1),而不是 (2,)。
| 对象 | 形状 | 应检查的对应关系 |
|---|---|---|
| XU、Z、H | (B,h) | 权重的输入宽度等于特征数 |
| HV、O | (B,C) | 输出层输入宽度等于隐藏宽度 |
| a、c | (1,h)、(1,C) | 向所有行共享,不增加样本维参数 |
动手顺序:先核对矩阵内维,再做乘法;加行偏置;对隐藏仿射值激活;重复处理输出层但不激活。把批量结果逐行与步骤2比较。
本步实现与检查
用 layer_sizes 保存输入、各隐藏层和输出的宽度。例如
[2,3,1]
表示输入2维、隐藏3单元、输出1维。相邻两个宽度决定一个参数层;[2,1]
是无隐藏层的合法网络。
parameters 是参数字典列表,每层有 W 和
b;W 的形状为“输入宽度 ×
输出宽度”,b 为
(1,输出宽度)。所有参数使用双精度
float64。贯穿算例的 U,a
对应第0项的 W,b,V,c
对应第1项。
前向时还要返回与参数层等长的 cache 列表,每层保存:
input:进入该层仿射运算的数组,用于确定各输入怎样参与该层计算。z:该层激活前的仿射值,用于判断隐藏激活的局部变化。贯穿算例的第0层 input 是 X、z 是 Z;第1层 input 是 H、z 是 O。缓存保存当前参数状态产生的值;在一次反向完成前,不更新参数、不覆盖缓存。
动手顺序:从当前层输入出发计算 z,保存
input,z,再确定下一层输入。只有最后一个参数层直接输出
z。检查列表长度、每项形状和内容,再考虑训练。
本步实现与检查
固定参数适合检查,训练则需要一个明确、可复现的起点。初始化就是在第一次前向之前创建所有参数。若同一隐藏层的单元从完全相同的权重开始,它们可能一直计算相同的特征;随机权重用于打破这种对称。
正态分布以均值为中心呈钟形,标准差控制数值的分散程度,方差是标准差的平方。每层设输入宽度为 d_{in},权重从均值为0的正态分布抽取。选择 ReLU 时方差为 2/d_{in},选择 tanh 时为 1/d_{in};本项目对每个参数层使用相同的激活对应规则,包括最终仿射层。所有偏置设为零。这是项目的初始化约定,并不保证训练必然成功。
方差等于标准差的平方。生成器的 normal(loc, scale, size)
分别接收均值、标准差和目标数组形状,其中 scale
表示标准差,因此应使用 \sqrt{2/d_{in}} 或 \sqrt{1/d_{in}},不能直接把方差传进去。例如
ReLU 层 d_{in}=8
时,方差为0.25,标准差为0.5。
创建一次 default_rng(seed)
得到本次初始化专用的随机数生成器,按参数层顺序生成权重,再建立偏置。相同宽度、激活和种子应完全复现;不同种子应改变权重;不修改全局随机数状态。有限样本的经验方差通常不精确等于指定方差,不能要求一个小层恰好满足统计期望。
本步实现与检查
XOR 在两个输入不同时输出1,否则输出0:
| x_1 | x_2 | y |
|---|---|---|
| 0 | 0 | 0 |
| 0 | 1 | 1 |
| 1 | 0 | 1 |
| 1 | 1 | 0 |
单一仿射分数加阈值的分类器在 w_1x_1+w_2x_2+b>0 时输出1,否则输出0。其分界是直线。XOR 的两个正例、两个负例分别位于对角,不能用同一条直线隔开。
隐藏层可以先构造新特征。思考 x_1-x_2:同输入时为0,不同输入时为正1或负1。分别保留其正部分和负部分的大小,再相加,就能得到“是否不同”的量。请把这个思路写为两个 ReLU 单元的参数和四行值表。这里用一个线性输出检查0/1函数值;后面的训练实验会改用两个类别 logits,二者验证目的不同。
本步实现与检查
完成M1自行检查,记录贯穿算例的独立复算、缓存表、XOR 构造和对应选择题:
按本阶段各步的完成标志核对实现,并在报告中记录检查结果。
本阶段对应题目为附录C的Q01,请在线作答并记录理由。
前向已经能给出预测,还缺一个判断“怎样改参数”的依据。先定义偏差和变化率,再沿前向的依赖关系向后计算;这样一次参数更新的每个数值都有来源。
回归预测实数。目标 Y 与输出 O
都是 (B,C)。残差 R=O-Y
表示各输出偏离目标多少;本项目使用
J=\frac{1}{2B}\sum_{i=1}^{B}\sum_{k=0}^{C-1}(O_{ik}-Y_{ik})^2.
先将每个残差平方,再对所有输出求和,最后除以 2B。正负偏差都受到惩罚,1/2 用于简化后续导数。只对样本平均,不对输出维平均。
贯穿算例第一行的目标取 y=0.875:输出2.875、残差2,单样本损失为 \tfrac12\times2^2=2。若同时使用两行,目标为 Y=[0.875,0.5]^T,则残差为 [2,-1]^T,批量损失为 (4+1)/(2\times2)=1.25。
先实现输出与目标形状检查,再计算损失,返回 Python
浮点数。回归目标不能用 (B,) 冒充
(B,1),否则广播可能产生错误的 (B,B) 残差。
本步实现与检查
导数描述输入发生很小变化时,输出的局部变化率。若 q=f(t),在可导点附近有 \Delta q\approx f'(t)\Delta t。参数一次改变较大时,近似可能不准确。
若函数有多个输入,求某个输入的偏导数时先固定其余输入。对于 z=x_1w_1+x_2w_2+b,固定样本后有 \partial z/\partial w_1=x_1、\partial z/\partial w_2=x_2、\partial z/\partial b=1。
计算可以复合:t 先影响 q,q 再影响 J。链式法则把这条路径的局部变化率相乘:
\frac{\partial J}{\partial t}=\frac{\partial J}{\partial q}\frac{\partial q}{\partial t}.
若同一个参数沿多条路径影响最终损失,各条路径的贡献要相加。例如同一个偏置被两行使用,损失对它的偏导要汇总两行,而不是只保留最后一行。
自然对数 \log t 是自然指数的反函数,与NumPy的log函数一致。本项目需要的局部导数如下,t 表示当前标量输入:
| 运算 | 局部导数 | 条件或含义 |
|---|---|---|
| t+s 对 t | 1 | 加法传递变化 |
| st 对 t | s | 另一因子固定 |
| t^2/2 | t | 平方损失的残差因子 |
| e^t | e^t | 分类归一化所需 |
| \log t | 1/t | 仅当 t>0 |
| \operatorname{ReLU}(t) | 1 当 t>0;0 当 t<0 | 零点不可导,程序约定取0 |
| \tanh(t) | 1-\tanh^2(t) | 可从前向值重建局部斜率 |
将所有参数的偏导放到与参数相同形状的数组中,称为该参数数组的梯度。梯度不是新参数;它描述当前参数状态的局部变化。
由残差 R_{ik}=O_{ik}-Y_{ik} 和平方损失,先对残差求导再乘以残差对输出的导数1,得到
D^o_{ik}:=\frac{\partial J}{\partial O_{ik}}=\frac{O_{ik}-Y_{ik}}{B},\qquad D^o=\frac{O-Y}{B}.
这里 D^o 已含平均因子。后面计算参数梯度时不能再除以 B。两行算例的 D^o=[1,-0.5]^T;第一行单独处理时则为2。
本步实现与检查
分类预测类别编号。设有 C 类,目标 y 形状为
(B,),每项是0到 C-1
的整数。网络输出 O 仍为
(B,C) 实数数组,每行各类别的分数称为
logits。分数可正可负,不是概率。
softmax将同一行的分数转为和为1的概率:
P_{ik}=\frac{e^{O_{ik}}}{\sum_{j=0}^{C-1}e^{O_{ij}}}.
类别编号和对应输出列统一为 k=0,\ldots,C-1,因此目标 y
的整数可直接选中相应列。预测取最大分数列,等价于取最大概率列;并列时取最小类别号。
直接计算很大的指数会溢出。令 m_i=\max_jO_{ij},S_{ik}=O_{ik}-m_i,则
\frac{e^{O_{ik}-m_i}}{\sum_j e^{O_{ij}-m_i}} =\frac{e^{-m_i}e^{O_{ik}}}{e^{-m_i}\sum_j e^{O_{ij}}}=P_{ik}.
因此先按行减最大值,再求指数与行和。至少一个指数为1,其余位于0到1之间,不会产生大的指数。
交叉熵惩罚正确类别的概率过低,单行损失为 \ell_i=-\log P_{i,y_i}。为避免正确类概率下溢为0后再取对数,直接由移位分数计算:
\ell_i=\log\left(\sum_j e^{S_{ij}}\right)-S_{i,y_i},\qquad J=\frac1B\sum_i\ell_i.
例如一行 logits 为 (\log2,\log3,\log5),概率为 (0.2,0.3,0.5)。目标为类别2(第三列)时损失为 -\log0.5\approx0.69314718。若 logits 为 (1000,-1000) 而目标是类别1,稳定损失为2000;不能先将很小的概率替换为固定下限再计算本项目要求的损失。
还需要交叉熵对 logits 的梯度。单行也可写为
\ell_i=\log\left(\sum_j e^{O_{ij}}\right)-O_{i,y_i}.
此等式用于求导,实际计算仍使用移位后的稳定形式。对第 k 列求导,第一项经链式法则给出 e^{O_{ik}}/\sum_j e^{O_{ij}}=P_{ik};第二项在 k=y_i 时导数为1,否则为0。定义指示数组 T_{ik}=1 当 k=y_i,其他为0,则
D^o=\frac{P-T}{B}.
T
只是推导中方便表示目标的同形状数组,接口输入仍是一维整数
y。上面的三分类单行梯度为 (0.2,0.3,-0.5),各列之和为0。
动手顺序:检查类别形状与范围;按行移位;计算指数和与概率;由移位分数计算平均损失;从概率中减去正确类指示并平均一次。不要将 softmax 放入隐藏层,也不要在已含 softmax 导数的 D^o 上再乘一次导数。
本步实现与检查
回到第一行贯穿算例,令隐藏权重为 w_1,w_2,隐藏偏置为 a,输出权重为 v,输出偏置为 c。关系为
z=x_1w_1+x_2w_2+a,\quad h=\phi(z),\quad o=vh+c,\quad J=\tfrac12(o-y)^2.
其前向值为 z=2.25、h=2.25、o=2.875、y=0.875。从损失开始向输入侧计算:
| 参数顺序 | w_1 | w_2 | a | v | c |
|---|---|---|---|---|---|
| 当前参数 | 0.5 | -1 | 0.25 | 1.5 | -0.5 |
| 损失梯度 | 6 | -3 | 3 | 4.5 | 2 |
这些值全部来自同一次前向的参数状态。程序中先把梯度放入独立数组,不要一边向前一层传播一边改后层权重。
第二行 z=-1.75,ReLU的局部导数为0,故隐藏权重与偏置没有这条样本的梯度贡献;h=0 也使输出权重贡献为0。目标0.5与输出-0.5的残差为-1,输出偏置仍有贡献-1。
本步实现与检查
一个批量里的参数共享,所以先按元素写出求和,再组织为矩阵。仍记隐藏宽度为
h、输出宽度为 C,D^o
形状为 (B,C)。
输出元素 O_{ik}=\sum_jH_{ij}V_{jk}+c_k。固定某个 V_{jk},每行都沿 H_{ij} 使用它,因此
\frac{\partial J}{\partial V_{jk}}=\sum_i H_{ij}D^o_{ik},\qquad \frac{\partial J}{\partial c_k}=\sum_i D^o_{ik}.
矩阵形式为
G_V=H^TD^o,\qquad G_c=\sum_{i=1}^{B}D^o_{i,:}.
G_V 形状为 (h,C),与
V 相同。偏置按行求和后仍保留
(1,C),不能变成
(C,)。这里的求和没有再次平均,因为 D^o 已包含 1/B。
一个隐藏值 H_{ij} 影响所有输出列,其收到的变化率需先跨输出求和,再乘激活的局部导数:
D^h=(D^oV^T)\odot\phi'(Z).
D^oV^T 的形状为
(B,h),V^T
将各输出路径汇总回隐藏单元;\phi'(Z) 也是
(B,h),逐元素决定各隐藏路径如何通过。不能用逐元素乘法替代前面的矩阵乘法。
最后,隐藏层也像输出层一样对输入和共享偏置求导:
G_U=X^TD^h,\qquad G_a=\sum_{i=1}^{B}D^h_{i,:}.
| 梯度 | 形状 | 计算结束后必须对应 |
|---|---|---|
| G_U | (d,h) | 隐藏权重 U |
| G_a | (1,h) | 隐藏偏置 a |
| G_V | (h,C) | 输出权重 V |
| G_c | (1,C) | 输出偏置 c |
对两行贯穿算例,D^o=[1,-0.5]^T,D^h=[1.5,0]^T,所以
G_U=\begin{bmatrix}3\\-1.5\end{bmatrix},\quad G_a=[1.5],\quad G_V=[2.25],\quad G_c=[0.5].
这也等于两行单独求梯度后取平均。若复制每一行,平均损失和梯度应保持不变,这是检验“是否重复平均”的有效办法。
按编号先沿蓝色框从左向右计算预测,再沿橙色框从右向左传回梯度。绿色支路计算参数梯度,不继续向前传播。各向量都表示列向量,程序仍保留二维;偏置梯度按样本行求和并保留行维,不再次除以批量大小。反向读取同次前向保存的值和尚未更新的参数。第二行隐藏路径被ReLU关闭,但仍影响输出偏置梯度。本图使用两行批量;下一节的更新示例只使用第一行单样本。
本步实现与检查
梯度下降沿梯度的负方向移动参数。学习率 \eta>0 控制步长,对任一参数数组 \theta 更新为
\theta_{new}=\theta-\eta G_\theta.
例如第一行单样本取 \eta=0.1,全部参数梯度先计算完,再得到
(w_1,w_2,a,v,c)_{new}=(-0.1,-0.7,-0.05,1.05,-0.7).
重新前向:z=2(-0.1)+(-1)(-0.7)-0.05=0.45,h=0.45,o=1.05\times0.45-0.7=-0.2275。新残差为 -1.1025,损失为 0.607753125,小于初始2。
下表是固定参数、固定目标的实际计算结果,数值经运行核验。每行都从原参数重新开始,不能连续执行三种步长。
| 学习率 | 更新后输出 | 更新后半平方损失 | 相对初始损失2 |
|---|---|---|---|
| 0.01 | 2.49185 | 1.30710196125 | 降低 |
| 0.1 | -0.2275 | 0.607753125 | 降低更多,但不构成普遍规律 |
| 0.5 | -1.5 | 2.8203125 | 增大 |
梯度只刻画局部变化,有限步长可能跨过激活分支或越过较好区域。因此“梯度正确”不等于“任何学习率都降低损失”。sgd_step
只负责修改传入参数列表中各层的参数并返回
None,不重新计算梯度;只把局部变量重新指向新数组而不写回参数,会使调用者看不到更新。
本步实现与检查
解析反向已经给出梯度,还要用另一种计算方式核验。选一个参数标量 \theta_j,固定其他参数,分别计算 \theta_j+\epsilon 和 \theta_j-\epsilon 下的标量损失,得到数值梯度
n_j=\frac{J(\theta_j+\epsilon)-J(\theta_j-\epsilon)}{2\epsilon}.
检查顺序:保存原值;加扰动并完整前向算损失;减扰动再算损失;恢复原值;比较 n_j 与解析梯度 g_j;再检查下一个标量。两次损失均不更新参数,缓存也要重新计算,不能只改参数而继续使用旧前向结果。
使用双精度和 \epsilon=10^{-6},检查点远离 ReLU 零点。贯穿算例第一行的两个扰动均处于激活区域,数值梯度应接近 6,-3,3,4.5,2。公开容差为
|g_j-n_j|\leq10^{-7}+10^{-5}|n_j|.
对上述单行算例实际运行中心差分,最大绝对误差约为 7.03\times10^{-10},满足这一标准;该数值来自本项目双精度运行,不是所有环境必须完全相同的误差。
这同时包含绝对容差和相对容差:真梯度接近零时仍能判断,不会除以零。报告最大绝对误差,并确认检查后参数与原值一致。
若某个 ReLU 的仿射值在正负扰动间跨过0,中心差分会混合两侧斜率,此时不能要求它等于约定的零点导数。应另选远离折点的输入或参数验证解析公式,不能只放宽容差使错误通过。
本步实现与检查
完成M2自行检查,记录一次更新记录、差分误差与真实诊断。如果实现过程中没有遇到错误,可以有意改错一处计算,检查测试能否发现问题,再恢复原实现;报告中注明这是人为设置的测试。
按本阶段各步的完成标志核对实现,并在报告中记录检查结果。
本阶段对应题目为附录C的Q02,请在线作答并记录理由。
上一阶段已经完成一个隐藏层的正确更新。多层网络没有引入新的求导原则,但需要统一层编号、缓存顺序和状态;随后才能把一次更新重复为训练过程。
设有 L 个带参数的层,代码索引为 \ell=0,\ldots,L-1。令 A^0=X。第 \ell 层的输入为 A^\ell、权重为 W^\ell、偏置为 b^\ell,其仿射输出为
Z^\ell=A^\ell W^\ell+\mathbf{1}_B b^\ell.
隐藏层令 A^{\ell+1}=\phi(Z^\ell),最后一层直接输出
O=Z^{L-1}。cache[ell] 保存
A^\ell 和 Z^\ell。这里 A 表示进入下一层的值,而 Z
表示当前层激活前的值,不能因为形状相同就混用。
定义 D^\ell=\partial J/\partial Z^\ell。最后一层没有激活,先令 D^{L-1}=D^o。按 \ell=L-1 到0逆序处理:
G_{W^\ell}=(A^\ell)^TD^\ell,\qquad G_{b^\ell}=\sum_i D^\ell_{i,:}.
仅当 \ell>0 时,继续传向前一隐藏层:
D^{\ell-1}=\left(D^\ell(W^\ell)^T\right)\odot\phi'(Z^{\ell-1}).
每层梯度放到原层索引的位置,不要让返回梯度列表变成逆序。无隐藏层时 L=1,直接计算输出层梯度,不访问不存在的前一层缓存。
图中步骤1每层都执行,步骤2只在存在前一隐藏层时执行。箭头表示执行顺序,右侧回路表示层索引递减后重复计算;不是参数更新。两层网络中
D^1=D^o、D^0=D^h。无隐藏层时跳过步骤2。图内的上标均为层索引,前层激活导数读取的是
cache[ell-1].z。
例如 [2,3,4,2] 在 B=5
时的前向形状如下:
| 层索引 | input |
W |
b |
z |
层后处理 |
|---|---|---|---|---|---|
| 0 | (5,2) | (2,3) | (1,3) | (5,3) | 激活,得到下一层输入 |
| 1 | (5,3) | (3,4) | (1,4) | (5,4) | 激活,得到下一层输入 |
| 2 | (5,4) | (4,2) | (1,2) | (5,2) | 不激活,直接作为输出 |
动手顺序:先让一个隐藏层按层列表运行;再增加不同宽度的第二隐藏层;先检查前向形状,再对回归与分类分别做数值检查。方阵可能掩盖错误转置,所以检查网络必须包含不相等的层宽。
本步实现与检查
批量是一次计算梯度所用的样本集合。epoch 表示训练集中每个样本被使用一次。小批量 SGD 在每批上求平均损失和梯度,更新参数后再处理下一批;不同批次使用的参数状态可能不同。
fit 开始时创建一次训练专用
default_rng(seed)。每个 epoch 调用一次
permutation(len(x))
得到原始行号的新排列,按批量大小顺序取连续的索引片段。对
x,y
使用同一批索引,每轮都对原始行号生成排列,再用排列选取数据。初始化随机数生成器与训练随机数生成器分别创建,即使种子相同也不共用已消耗的状态。
例如5行训练数据、种子0、批量3时,第一轮排列为
[2,4,3,0,1],两批分别取 [2,4,3] 和
[0,1]。第一批实际样本数为3,第二批为2;尾批的输出梯度应除以2,不能仍除以3,也不能丢弃尾批。
对每一批依次完成前向、损失及输出梯度、全部层反向、一次参数更新。训练期间不把整批标签当作模型输出,不按全数据行号访问缓存,也不让不同批的梯度无意累加。
本步实现与检查
一轮更新结束后,用当前参数重新计算全部训练集损失。若提供验证数据,再用同一参数算验证损失;验证过程只前向,不调用反向或更新。这能比较两个集合在相同状态下的表现。
不要平均批次更新前的损失来冒充 epoch
结束损失:一方面它们来自不同参数状态,另一方面尾批大小可能不同。history
每轮增加一项字典,字段 epoch 从1开始,另含
train_loss;提供验证数据时再含
val_loss。训练结束保留最后一轮参数,不自动早停或恢复旧参数。
若损失出现非有限数,保留配置并报告失败,先检查输入、稳定损失和梯度,再考虑学习率。若损失不下降,检查是否真正原地更新、梯度是否非零、ReLU是否全部关闭。
本步实现与检查
回归预测直接返回最后一层实数数组 (B,C)。分类预测对每行
logits 取最大列的索引,返回 (B,)
的整数数组;不需要计算概率也能得到类别,但报告概率时必须正确归一化。
XOR 训练使用四行输入和整数目标 [0,1,1,0],网络默认
[2,16,2]。两个输出列分别表示类别0和1的
logits,使用分类损失,不把两个输出分别当作两个独立回归任务。实际批量为4,500轮中每轮一次更新。
先通过小样本多层数值检查,再以种子0、1、2分别初始化和训练。记录四行预测、损失和正确率,训练要求四点全对。手工构造参数能实现 XOR,只证明模型具有表示能力;训练从随机参数到达正确预测,是另一项证据。四个训练点没有独立测试集,不能称为未见数据泛化结果。
本步实现与检查
完成M3自行检查,新增至少一个原创多层差分用例,以及一个尾批或共享偏置的反例测试。说明各测试能发现什么错误,再记录全部种子的 XOR 结果。
按本阶段各步的完成标志核对实现,并在报告中记录检查结果。
本阶段对应题目为附录C的Q03,请在线作答并记录理由。
XOR 已验证有限输入上的训练。下面增加未见样本:先研究一维函数拟合,再研究四维输入的三分类。需要先固定划分和指标,才能判断模型变化究竟带来了什么效果。
已提供的生成器使用四个节点 (-2,1)、(-0.5,-1)、(1,0.5)、(2,0),相邻节点之间线性连接。任意区间 [u,v] 内,节点值分别为 r,s 时,目标为
f(x)=r+(s-r)\frac{x-u}{v-u}.
例如 x=0.25 在 [-0.5,1] 中,目标为 -1+1.5\times0.75/1.5=-0.25。这定义数据标签,不是网络的预测算法;np.interp
仅允许在已提供生成器中使用。
在 [-2,2] 上取257个等间距点,索引从0开始:能被4整除的65点训练,余1的64点验证,余2或3的128点测试。三个集合没有重复输入,目标无噪声,全部位于同一区间。训练只使用训练行的目标;评测时网络只能接收输入和已学习参数,不能调用真实函数生成自己的预测。
默认网络为
[1,16,1],输出是实数。记录本项目半平方损失,还记录均方根误差
RMSE:
\operatorname{RMSE}=\sqrt{\frac1N\sum_{i=1}^{N}(\hat y_i-y_i)^2}=\sqrt{2J}.
此等式适用于当前单输出任务。N 是被评估集合的样本数;不能用训练批量大小代替测试集大小。两个误差0和2的样本,RMSE为 \sqrt2,不是平均绝对误差1。
本步实现与检查
单文件内嵌的 IRIS_CSV
是逗号分隔的文本数据,无表头,共150行。前四列是萼片长、萼片宽、花瓣长、花瓣宽,单位厘米;第五列依次映射
setosa/versicolor/virginica 为
0/1/2,每类50行。数据读取已经提供,不需要新增下载或第三方加载器。
分层划分要求各集合保持相同类别比例。split_iris
使用一个
default_rng(23),按类别0、1、2顺序分别找出该类原始行号并置乱,每类前30/中10/后10行形成训练/验证/测试集,共90/30/30。各集合按类别顺序连接,不再次置乱;训练的
epoch 内另行置乱。
先返回索引,再由索引取
x,y。检查三个集合互不重叠、合起来恰好覆盖150行,且各类数量分别为30/10/10。不要独立打乱特征和类别,否则样本会被配上错误目标。
本步实现与检查
不同特征尺度会影响权重、激活及梯度的大小。对特征 j,用训练集的 N 行计算均值和总体标准差:
\mu_j=\frac1N\sum_i X_{ij},\qquad s_j=\sqrt{\frac1N\sum_i(X_{ij}-\mu_j)^2}.
这里标准差分母为 N,对应
ddof=0。若 s_j=0,将除数替换为1。对任一集合的行都使用相同变换
\widetilde
X_{ij}=(X_{ij}-\mu_j)/s_j,不能为验证或测试重新拟合统计量。mean,scale
保持 (1,d),输入数组不原地修改。
例如训练两行为 (0,7)、(2,7),均值为
(1,7),实际除数为 (1,1);标准化训练行为
(-1,0)、(1,0)。验证行 (10,9)
应变为
(9,2),不能因为只含一行就把它自身标准化为零。第二列的训练值恒定,并不意味着验证值一定也恒定。
若用全部150行拟合均值或标准差,训练流程就使用了本应未见的数据统计信息,称为数据泄漏。先划分、再只用训练集拟合,保存统计量供预测复用。
本步实现与检查
完成本步后回答附录C中的Q04,并在报告记录选项和简短理由。
Iris 默认网络为 [4,16,3]。每行输出3个
logits,对应固定类别顺序。预测类别与目标相等记为一次正确,准确率为正确数除以被评估样本数。交叉熵还反映模型分配给正确类的概率,因此准确率相同的模型可能有不同损失。
混淆矩阵为 C\times C 计数表,行是真实类别,列是预测类别。遍历每个目标 t 和预测 p,把单元格 (t,p) 加1。主对角线表示正确分类,非对角线说明误分去向,总和等于样本数。
例如真实类别为 [0,1,1,2],预测为
[0,2,1,2],则
M=\begin{bmatrix}1&0&0\\0&1&1\\0&0&1\end{bmatrix},\qquad \operatorname{accuracy}=\frac{\operatorname{trace}(M)}4=\frac34.
\operatorname{trace}(M) 表示主对角元素之和。本例只是说明指标计算。对自己的 Iris 测试结果,应保存真实预测逐行记录,再形成矩阵,不能先填矩阵再捏造样本。
本步实现与检查
完成本步后回答附录C中的Q05,并在报告记录选项和简短理由。
所有用例以一个16单元隐藏层、ReLU、学习率0.05、500个 epoch、批量16为默认起点。它是启动配置,不保证每个种子都成功。初始化与训练置乱分别使用种子0、1、2;Iris 划分始终使用23。
XOR和回归分别完成默认配置的三个种子实验;以下三组必做对照至少在 Iris 上完整执行,不把三组设置全部组合做穷举搜索:
| 对照 | 设置 | 保持一致 |
|---|---|---|
| 学习率 | 0.01、0.05、0.1 | 一个16单元隐藏层、ReLU、500轮、批量16 |
| 深度 | 无隐藏层、[16]、[16,16] |
学习率0.05、ReLU、500轮、批量16 |
| 激活 | ReLU、tanh,均使用[16] |
学习率0.05、500轮、批量16;尺度按各自初始化约定 |
默认配置在多组对照中出现时可以复用同一原始记录,不伪装成新的独立实验。XOR和回归至少完成默认配置三种子运行;失败时保留原记录,再注明诊断和追加实验理由。选做更深结构或L2正则化(在损失上加权重平方和惩罚)不能替代核心正确性。
训练集用于求梯度;验证集用于选择配置;测试集只用于评估最终确定的配置。先对每个候选配置计算三个种子的验证损失均值,选择均值最低的共同配置,若完全相同则优先参数少者。记录选择理由并确定最终配置,然后分别评估三个种子的测试结果;之后不再根据测试结果修改配置。不能看过测试结果再反复调参;若发生,应如实说明测试集已不再独立。XOR没有单独验证集,默认三种子拟合与诊断不能作为根据验证集选择配置的结果。
汇总三个实测指标 q_0,q_1,q_2 时,报告全部值、均值及总体标准差:
\bar q=\frac{q_0+q_1+q_2}{3},\qquad s_q=\sqrt{\frac{\sum_{r=0}^{2}(q_r-\bar q)^2}{3}}.
该标准差使用
ddof=0,表示三个初始化运行的波动,不是对多个独立数据集的评估。回归测试点都在训练区间内,也不支持区间外外推的结论。
本步实现与检查
run_experiment
按以下顺序组织已完成的函数,不在其中另写一套网络算法:建立新的输出目录并拒绝覆盖;准备对应数据;确定输入、输出与隐藏宽度;初始化;训练;计算允许访问的集合指标;保存结果。Iris先划分和标准化,XOR不传验证数据,回归使用固定的三组点。
开发阶段
evaluate_test=False,只记录训练和存在的验证指标。可以准备测试输入和预处理状态,但不计算或保存测试指标及预测。确定最终配置后,在新目录中以
evaluate_test=True 做最终测试,不覆盖开发日志。
| 文件 | 必须记录的内容 |
|---|---|
config.json |
case、seed、split_seed(Iris为23,其余可为null)、activation、hidden_sizes、learning_rate、epochs、batch_size、evaluate_test、python、numpy |
history.csv |
每轮一行;epoch、train_loss,存在验证数据时加val_loss |
metrics.json |
按train、validation及开启后的test分组;每组含loss,回归另含rmse,分类另含accuracy与confusion |
predictions.csv |
列名split、row_in_split、target、prediction;只存实际评估集合,行号从0开始 |
parameters.npz |
每层数组,键名为0_W、0_b、1_W、1_b等;索引与参数层列表一致 |
preprocessing.npz |
仅Iris需要;键为train、validation、test索引以及mean、scale |
JSON存对象、数值和列表,CSV存表格,NPZ存NumPy数组;可用标准库的
json.dump 写对象、csv.DictWriter
按字段写行,使用 NumPy 的 savez 按键保存数组。用
Path.mkdir 的 parents=True
创建尚不存在的父目录,并以 exist_ok=False
拒绝覆盖已有实验目录。Python版本可由
platform.python_version() 获得,NumPy版本为
np.__version__;配置必须记录真实环境版本。metrics.json
中缺少 test
组与“测试得分为零”是不同状态;未评估时应省略,不填假数值。
在代码目录中完成单文件后,例如开发运行:
python student_template.py experiment iris --seed 0 --hidden-sizes 16 --activation relu --learning-rate 0.05 --epochs 500 --batch-size 16 --output-dir runs/iris_dev_seed0命令行中 --hidden-sizes
后的整数只描述隐藏层;无隐藏层时该选项后不接整数。默认命令行参数为种子0、ReLU、隐藏宽度[16]、学习率0.05、500轮、批量16;输出目录必填。使用
--evaluate-test
才开启最终测试。每次种子、结构或学习率改变都用新目录,输出用终端表格和CSV,不要求绘图库。
本步实现与检查
| 现象 | 先检查什么 | 需要的证据 |
|---|---|---|
| 固定前向不符 | 内维、偏置广播、输出层是否误激活 | 逐层input、z与输出 |
| 差分不符 | 损失平均、转置、缓存、折点、参数恢复 | 最小输入、逐参数误差 |
| 损失爆炸或非有限 | 稳定分类损失、梯度、尺度、学习率 | 失败配置与首次异常轮次 |
| 损失停滞 | 原地更新、零梯度、关闭的ReLU | 更新前后参数和局部激活 |
| 训练好而验证差 | 结构、训练时长、配置选择过程 | 相同配置的两集合损失 |
| 成绩异常好 | 泄漏、目标误用、训练/测试重叠 | 索引、预处理与逐样本预测 |
每次先提出一个可检查的原因,再改变一个因素验证,不同时修改多处后猜测起因。报告应能从原始配置和日志追溯数值;参考目标不是实测结果,失败同样是需要解释的数据。
本步实现与检查
完成M4自行检查,并保存默认配置、三组对照、最终配置确认记录和全部原始结果:
按本阶段各步的完成标志核对实现,并在报告中记录检查结果。
| 周次 | 验收内容 | 必须保留的证据 |
|---|---|---|
| 第1周 M1 | 初始化、前向、手工 XOR | 手算、形状、Q01、阶段结果 |
| 第2周 M2 | 损失、反向、SGD、数值检查 | 梯度表、更新比较、Q02、诊断记录 |
| 第3周 M3 | 多层、小批量、预测、XOR训练 | 原创测试、种子结果、Q03 |
| 第4周 M4 | 回归、Iris、对照、最终评测 | 日志、配置选择依据、Q04–Q05、报告与贡献记录 |
提交时区分代码、测试操作和课程附件:
阶段检查用于帮助完成项目,必要记录随最终报告提交,不另设阶段报告或阶段提交期限;教师另行布置的安排除外。
报告中的结果表为本组实测,不预填他人实验结果;每张表说明数据划分、种子、配置、指标和比较目的。除必要公开检查点外,本任务书不提供可直接对照的训练成绩。
详细证据的保存方式与可选附件目录见附录E。
提交前自查。 从空输出目录重跑一条完整命令,确认无需网络下载和额外第三方包;代码能从任意工作目录读取内嵌数据;先通过固定计算和梯度检查,再检查实验是否真正使用了自己实现的网络。报告按评分与证据对照表填写,各阶段正文只保留关键结果和简短解释;详细推导、计算、测试和日志放附件,同一证据只保存一次,未完成项如实标记。
| 项目 | 项目分值 | 计分方式 |
|---|---|---|
| 程序实现 | 60 | 平台单项100分,每通过一例计项目6分 |
| 数学理解 | 10 | 五道选择题,每题2分 |
| 报告:实验分析 | 15 | 结果完整6分、对照分析6分、配置选择与结论3分 |
| 报告:原理、实现与复现说明 | 10 | 原理与实现说明4分、复现与证据4分、组织与表达2分 |
| 报告:本人贡献 | 5 | 具体成果、证据及必要核验 |
代码单项成绩=通过例数×10;项目总分=通过例数×6+数学理解+报告成绩(满分30)。每例通过得10分代码分(项目6分),失败、超时或输出不符得0分,无部分分。共同项95分,个人贡献5分。
数值、形状和梯度按指定容差检查;XOR训练要求四点全对。回归与 Iris 不设一次随机运行必须达到的统一准确率或误差门槛,而检查数据协议、损失下降、三种子记录、对照和解释。低于自身无隐藏层网络的比较结果时,应给出诊断,不能隐去结果;也不保证更深结构一定优于无隐藏层网络。
发现绕过网络直接返回标签、针对公开输入写死答案、用禁用工具完成核心计算或伪造结果时,相关证据无效,对应未验证的评分细项不得分,并由教师核验处理。
个人核验可要求现场说明一个张量形状、重建一段局部推导、解释一个失败用例或预测输入变化后的行为。个人核验只用于个人贡献证据,不额外改变已经取得的代码测试分。
按顺序为初始化、前向、回归损失、稳定分类损失、批量反向、多层tanh反向、SGD、含尾批的分类训练、Iris预处理、分类预测。每例代码分10分,正式用例由平台执行;数据读取示例只验证环境,不单独给分。
以下内容按需查阅;附录C的五道题为必答题。
前面已经说明各步如何计算。本节把相同约定集中为可执行的接口约定,便于把自己的程序连接到评阅入口;这里的字段不引入另一套算法。
以下仅列调用签名,不提供函数实现。*
后的参数需按名称传入。位置参数与返回顺序必须一致。
init_parameters(layer_sizes, activation="relu", seed=0):返回参数字典列表。宽度至少两个正整数;不合法时抛出
ValueError。forward(x, parameters, activation="relu"):返回
(output, cache),不修改输入或参数;缓存逐层包含
input,z。loss_and_output_grad(output, y, task):返回
(loss, output_grad);task 为
regression 或
classification,不设默认值。backward(output_grad, cache, parameters, activation="relu"):返回与参数同结构的梯度列表,列表保持正向层顺序,不更新参数。sgd_step(parameters, gradients, learning_rate):原地更新全部参数,返回
None。fit(x, y, parameters, *, task, activation="relu", learning_rate=0.05, batch_size=16, epochs=200, seed=0, x_val=None, y_val=None):原地训练,返回更新后的逐轮记录。predict(x, parameters, *, task, activation="relu"):回归返回
(B,C) 实数,分类返回 (B,)
整数;并列取最小类别号。损失拒绝空批量、非二维输出、目标形状不匹配及越界类别。激活仅接受
relu,tanh。学习率为有限正数,批量大小和epoch为正整数。提供验证数据时
x_val,y_val
必须成对提供。数组索引、标签和参数必须与当前样本对应。
注意 fit
的接口默认200轮,而实验命令行默认500轮;run_experiment
必须将实际实验轮数显式传给 fit,不能把二者混为一谈。
load_iris():返回 (x,y),形状分别为
(150,4) 和 (150,),已提供。xor_data():返回四行输入和四个整数类别,已提供。regression_data():按训练、验证、测试顺序返回三个
(x,y) 对,每个数组都是单列二维数组,已提供。split_iris(y, seed=23):返回
(train, validation, test)
三个一维整数索引数组,各集合保持类别顺序连接。standardize(x_train, x_validation, x_test):返回
(train_scaled, validation_scaled, test_scaled, mean, scale);后两项为
(1,d),不修改原数据。run_experiment(case, *, seed, activation, hidden_sizes, learning_rate, epochs, batch_size, output_dir, evaluate_test):组织一次实验并保存步骤23要求的文件;参数均显式提供,case为xor,regression,iris之一;返回与metrics.json对应的指标字典。单文件可任意改名并在任意目录运行;Iris由内嵌文本解析,不读取外部文件。
以下伪代码是实现顺序说明,不是另一套需要提交的程序。每一段都在同一个student_template.py中实现。先完成一段并按正文方法检查对应功能,再继续下一段。不要一次修改所有函数。
输入:一批logits和整数类别;输出:平均损失及对logits的梯度。
对每行找到最大分数,并从该行所有分数中减去它
计算移位分数的指数,以及每行指数之和
概率 = 每项指数 / 对应行的指数和
每行损失 = log(该行指数和) - 该行正确类别的移位分数
平均损失 = 各行损失之和 / 实际行数
复制概率数组,在每行正确类别处减1,再除以实际行数
返回平均损失和梯度
检查:三个相同分数得到相等概率;大分数输入不应产生无穷大。类别编号直接选择对应列,不再对结果额外应用softmax导数。
输入:输出梯度、前向缓存和当前参数;输出:与参数同结构的梯度。
创建与参数层数相同的梯度列表
当前梯度 = 输出梯度(已经包含样本平均)
从最后一层向第0层处理:
权重梯度 = 本层缓存输入的转置 × 当前梯度
偏置梯度 = 当前梯度按样本行求和,保留一行
把这两个梯度存入本层原来的索引位置
如果还有前一层:
传回的梯度 = 当前梯度 × 本层旧权重的转置
从前一层缓存z计算激活导数
当前梯度 = 传回的梯度逐元素乘激活导数
返回梯度列表;本函数不更新参数
检查:每项梯度形状与参数相同。只有输出层时,完成一层即结束;不要访问前一层。
先在原参数状态计算解析梯度并保存
对每个参数数组中的每个标量:
保存原值
改为原值+epsilon,重新前向计算损失plus
改为原值-epsilon,重新前向计算损失minus
恢复原值
数值梯度 = (plus-minus)/(2×epsilon)
按正文容差比较数值梯度和解析梯度
记录最大误差,并确认所有参数都已恢复
先检查正文给出的单行例子,再检查多层。epsilon为1e-6,避开ReLU零点;若失败,先检查形状和是否重复除以批量大小。
创建一次训练专用随机生成器default_rng(seed)
每个epoch:
生成原始行号的新排列permutation(训练行数)
每次取batch_size个索引;不足一批的尾部也保留
对每批,用同一组索引取输入和目标:
前向 -> 损失和输出梯度 -> 全部反向 -> SGD更新
用更新后的参数重新计算全训练集损失
如果提供验证集,只前向计算验证损失,不更新
保存本轮epoch、train_loss及存在时的val_loss
返回记录;参数已在原列表中更新
检查:7行、批量3应处理三批;验证数据不能影响更新结果。不要把批次更新前的损失平均成最终日志。
每个候选配置分别运行种子0、1、2
记录每次配置、训练日志和验证损失;暂不评估测试
计算每个配置的三种子平均验证损失
选平均损失最小者;相同时选参数少者,写下选择理由
确定最终配置后,对三个种子做最终测试并保存结果
创建新的输出目录,已存在时拒绝覆盖
准备该任务的数据;Iris先划分,再仅以训练集拟合标准化
确定输入/输出宽度,初始化参数,调用fit
保存config.json、history.csv和parameters.npz
对允许评估的集合计算指标与逐行预测
保存metrics.json、predictions.csv;Iris另存preprocessing.npz
返回指标字典
测试设计也可按固定框架完成:选一个正文未使用的输入,先写出应保持的关系(如复制样本后平均梯度不变),运行并比较;再说明它能够发现哪一种错误。如果没有实际遇到的错误,可有意改错一处计算,观察测试结果后恢复,并在报告中注明。
五题均在平台内置选择题中提交,每题2分,共10分。单选选择一个字母;多选选择所有正确陈述。多选按完整集合判分,选项顺序不影响结果;错选、漏选、多选或未答均得0分,不给部分分。不要把选择题答案填入代码测试的JSON框。
报告中记录在线提交的选项,并用一行算式或一两句话说明原因,不要求逐项长篇论证。理由说明纳入既有报告评分,不改变平台判定的选择题成绩。各项分值见评分标准。
给定z=0.5x1-x2+0.25、h=max(0,z)、o=1.5h-0.5,输入为(1,0)。哪些陈述正确?
原权重0.5、梯度6、学习率0.1,按“原权重减去学习率乘梯度”更新一次,新权重是多少?
共有7个样本,每批尽量取满3个,最后不足3个也处理。每批梯度按实际样本数平均。哪些陈述正确?
仅从训练集得到均值(1,7)和除数(1,1)。验证输入为(10,9),按“先减均值,再逐项除以除数”变换。哪些陈述正确?
题目给定一次测试共有30个样本,其中27个预测正确。哪些陈述正确?
无命令行参数时,程序进入文本评阅模式,等待标准输入中的一个JSON对象;它不会自动开始训练。只运行 以下命令 而未输入任何内容,不是完整的测试操作。
python student_template.py评分系统中,代码文本框粘贴student_template.py的全部Python内容,包括内嵌数据和最后的入口;不要粘贴Markdown围栏。测试输入文本框只填写JSON,例如:
{"op":"load_iris","summary":true}这一操作使用已提供的数据读取函数,未完成核心TODO时也可验证平台入口。返回数据形状、类别数量及首行特征说明内嵌数据和输入输出流程已运行;并不表示网络任务已经完成。本地Bash可用以下命令送入同一测试:
echo '{"op":"load_iris","summary":true}' | python student_template.pyJSON中的键和字符串使用英文双引号,不能写成Python单引号字典。空输入返回EmptyInput;格式错误返回InvalidJSON及行列提示;顶层不是对象返回InvalidInput。程序接受输入开头的BOM,但不把代码围栏或Python源码当作测试数据。
本地需要训练时,显式使用experiment子命令,例如:
python student_template.py experiment iris --epochs 500 --output-dir runs/iris_dev_seed0实验模式解析命令行并写日志,不使用JSON测试输入。平台文本评阅不需要命令行参数,不依赖外部文件或输出目录;本地训练日志作为报告证据另行提交。
第三方评阅每次启动提交的单文件,把一个JSON对象全文送到标准输入,从标准输出读取一行结果。JSON对象用花括号和键值表示,数组用方括号嵌套;输入的实数使用数值,分类目标使用整数。适配层已提供,学生只完成被调用函数,调试日志写标准错误而非标准输出。
平台每例输入和期望输出均限2000字符。load_iris和prepare_iris可增加"summary":true使用紧凑摘要;不指定时仍返回完整数据,完整模式适合本地查看。摘要功能已提供,无需另行实现;需要查看完整数组时在本地使用完整模式。
输入字段 op 选择操作。parameters
是层字典列表,各层含 W,b;x 和回归
y 为二维数组,分类 y
为一维整数数组。通用可选字段 activation
默认relu;task
在backward、step、fit、predict中默认regression,在loss中必填;seed
在init、fit中默认0,在split中默认23。其他操作不使用这些不相关字段。
| op | 除op外的必需字段 | 输出字段 |
|---|---|---|
| prepare_iris | 无;输出划分索引、三个标准化数组及mean、scale | 见左列 |
| load_iris | 无 | x(150×4)、y(150个整数类别) |
| init | sizes | shapes及下面列出的初始化属性 |
| forward | x、parameters | output、cache |
| loss | output、y、task | loss、output_grad |
| backward | x、parameters、y | loss、gradients |
| step | x、parameters、y、learning_rate | 更新后的parameters、output_after |
| predict | x、parameters | prediction |
| fit | x、parameters、y、learning_rate、batch_size、epochs | 更新后的parameters、history |
| split | y(类别0、1、2各50行) | samples、train、validation、test |
| standardize | train、validation、test | train、validation、test、mean、scale |
init 的 sizes 对应
layer_sizes。输出 shapes
按层记录权重与偏置形状;另外输出布尔属性
repeatable,zero_bias,finite,nonzero_weights,different_seed,global_state_preserved,variance_ok,分别检查同种子复现、零偏置、有限值、非零权重、异种子差异、全局随机状态不变以及初始化尺度。尺度仅在单层至少500个权重时检查经验方差与规定方差之比在
(0.85,1.15);小层不做这一统计检查。
输出按键排序、移除多余空格;实数统一序列化为八位小数字符串,整数类别、维数、epoch和布尔值保持JSON类型。小于 0.5\times10^{-8} 的实数幅值规范为正零;内部仍以双精度计算,不能提前取整。数组中的实数也按此规则输出。
以下是可独立运行的最小例子。输入为单样本双输出回归损失:
{"op":"loss","output":[[1,2]],"y":[[0,0]],"task":"regression"}平方和为5、样本数为1,损失2.5,输出梯度为
(1,2)。精确文本输出为:
{"loss":"2.50000000","output_grad":[["1.00000000","2.00000000"]]}贯穿算例的单行前向可输入如下;两个参数字典分别表示隐藏与输出仿射层:
{"op":"forward","x":[[2,-1]],"parameters":[{"W":[[0.5],[-1]],"b":[[0.25]]},{"W":[[1.5]],"b":[[-0.5]]}]}结果中的output为2.875;cache第0项input为原输入、z为2.25,第1项input为2.25、z为2.875,形状均保留二维。完成函数后,由同一适配层生成规范JSON,无需手工拼字符串。
在解压后的代码文件夹中,按正文各步给出的调用和命令检查结果。
自行检查应记录输入、关键结果和结论,不只记录“有输出”。正式测试由平台执行;报告记录自行检查与实验结果。各步骤中的例子用于理解和排错,不能替代对其他输入的检查。
同一证据只保存一次。报告中的证据位置可以是报告章节,也可以是附件相对路径,不必为每一步新建文件。
| 内容 | 保存方式 |
|---|---|
| 平台最终成绩 | 提交标识可取得时选填 |
| 本地阶段检查 | 复制自行检查的输入与终端结果到报告附录或一份检查记录即可 |
| 手算、梯度、原创测试、诊断 | 放报告附录或合并为一份附件;记录输入、关键结果与结论,不要求每步单独建文件 |
| M3的XOR训练 | 报告记录三种子结果,交互输出可复制到上述检查记录;不要求尚未实现的实验入口生成日志 |
| M4实验 | 保留步骤23规定的程序输出文件,直接引用实验目录,不重复导出相同内容 |
混淆矩阵可以引用metrics.json中的记录,不必另画表格或图片。有误分时简述一个误分样本;无误分时写“本次无误分”,不增加其他样本分析任务。
例如,可以将提交文件组织如下;目录和文件名可调整,检查记录也可并入报告附录:
submission/
|-- report.pdf
|-- checks.txt (可选:若已写入报告附录,无需此文件)
`-- runs/ (保存实际实验的原始输出目录)
完整Python代码和五道选择题答案仍在平台提交。这里的submission只是可选附件文件夹名称,不是代码运行所需目录。