任务书正文

本项目从一个能够手算的神经元开始,逐步构建能训练、预测并接受文本输入输出评阅的神经网络。先让每一步计算正确,再讨论训练效果。 本文给出完成项目所需的概念、公式、计算步骤、接口、数据协议与验收要求,不以阅读其他教学材料为前提。

先完成本节环境准备,再按M1至M4的24步实现。实现时可查阅附录A的函数接口,需要更多提示时查阅附录B。五道选择题必须完成,题面集中在附录C。提交前核对正文末尾的清单和评分标准。附录用于集中查阅,不表示题目或接口要求可以省略。

学习起点与最终成果

你需要会写 Python 函数、循环,能够使用 NumPy 数组并完成基本矩阵运算。本文会建立求导、链式法则及神经网络所需的具体知识,不要求已经学过反向传播。

神经网络把若干次“加权求和再经过非线性变换”的计算连接起来。输入是样本特征,输出是预测;其中可调整的数称为参数。给定输入和目标,损失衡量预测偏差;训练根据损失调整参数。把输入逐步算成输出称为前向传播,从损失对输出的导数出发,逐层计算损失对中间值和参数的导数,称为反向传播。这些过程将在下面用同一个例子展开。

最终实现支持任意有限隐藏层数、ReLU/tanh、回归与分类损失、小批量 SGD、预测和日志记录的网络。在 XOR、分段线性回归和 Iris 分类上分别检查表示、拟合与未见样本表现。

本项目按四周小组任务设计,独立按百分制评分;课程成绩占比、截止日期和提交入口由教师另行公布。最终交付可运行代码、原始日志、测试证据和填写后的项目报告。

分发包的使用

下载学生包student.zip,解压后进入T10.feed_forward文件夹:

T10.feed_forward/
|-- 机器学习课程项目-任务书及评分标准.pdf
|-- 机器学习课程项目-报告模板.docx
|-- student_template.py
`-- requirements.txt

在终端进入该目录,安装依赖:

cd T10.feed_forward
python -m pip install -r requirements.txt

后面的命令均在此目录运行。只编辑student_template.py的待实现部分;Iris数据已内嵌,无需下载。按各步的“本步实现与检查”使用手算、函数调用和实验验证结果;正式代码测试由平台执行。

开发边界与单文件结构

Python使用3.10或更新版本,第三方依赖仅允许NumPy,其余使用标准库。不使用scikit-learn、matplotlib、自动微分、现成神经网络或优化器。有限差分仅用于检查,不代替解析梯度训练。

学生只编辑 student_template.py。它是一个完整的Python源文件,包含所有依赖导入、150行内嵌Iris数据、函数和入口。常量及已提供的适配部分保留,逐阶段完成标为TODO的待实现部分。

单文件中的部分 已提供内容 学生完成内容
内嵌数据与数据函数 IRIS_CSV、CLASS_NAMES、load_iris、xor_data、regression_data split_iris、standardize
网络计算 函数签名和数组形状要求 init_parameters、forward、loss_and_output_grad、backward、sgd_step、fit、predict
实验组织 experiment_main命令行解析 run_experiment中的组织、评估与日志保存
文本评阅 encode、evaluate、main及末尾入口 保留协议,由它们调用自己实现的函数

同一文件内函数之间直接调用,不需要导入另一个模块。正式代码测试由平台执行,本地按各步说明自行检查。

完成依赖安装后,在同一文件夹检查已提供的数据读取入口:

echo '{"op":"load_iris","summary":true}' | python student_template.py

上面的命令适用于Bash,返回数据形状、类别数量及首行特征的JSON说明数据读取入口可以运行,不计分。按各节的验证方法自行检查。其余阶段的 NotImplementedError 表示对应功能尚未实现。不要使用 python -O,按既定数学与接口要求实现,不通过改变输入输出来回避检查。使用报告模板逐阶段记录关键结果,详细过程保存在附件;工具协助、未完成项和失败结果均须如实说明。

如何进行每步检查

下面每步末尾说明修改哪个函数、如何检查以及何时可以继续。需要直接调用函数时,在代码文件夹中启动Python交互环境:

python

进入交互环境后,先输入:

import numpy as np
import student_template as nn

随后通过nn调用本步函数。例如,读取已提供的数据并检查形状:

x, y = nn.load_iris()
print(x.shape, y.shape)

应得到(150, 4)和(150,)。函数需要数组时使用NumPy数组,回归实数数组用dtype=float,类别用dtype=int。临时计算和打印只放在交互环境,不追加到提交代码末尾。检查完退出交互环境:

exit()

不要使用python -i student_template.py进行这些检查,因为它会先进入等待JSON的程序入口。

各步检查是学习和排错的辅助,不增加正式计分用例。各阶段自行检查计算与实验,正式代码测试由平台执行。

实现顺序

M1填写init_parameters和forward;M2填写loss_and_output_grad、backward与sgd_step;M3将forward和backward推广为多层,并完成fit和predict;M4填写split_iris、standardize、run_experiment。所有改动都在同一文件中,已经完成的函数在后续阶段继续复用。

阶段 先建立什么 再实现什么 完成标志
M1 神经元、激活、矩阵形状 初始化与前向 手算、缓存、批量输出一致
M2 损失、导数、链式法则 反向与一次更新 解析梯度与数值梯度一致
M3 层间依赖、批次与状态 多层训练和预测 多层检查通过,XOR可训练
M4 划分、指标、控制变量 回归、Iris、日志与比较 原始结果可复现,结论有证据

M1:建立能够逐步追踪的前向计算

训练需要反复计算预测。如果预测本身尚不正确,损失和参数更新就没有可靠基础。本阶段先用固定参数完成每次乘加,再将计算组织为批量和多层形式。

步骤1:把一行输入变成一个神经元输出

一行输入 \mathbf{x}=(x_1,\ldots,x_d) 包含 d 个特征。给每个特征一个权重 w_j,再加一个不依赖输入的偏置 b,得到仿射值:

z=\sum_{j=1}^{d}x_jw_j+b.

权重决定各特征如何贡献,偏置整体平移结果。例如 \mathbf{x}=(2,-1)、\mathbf{w}=(0.5,-1)、b=0.25,则

z=2\times0.5+(-1)\times(-1)+0.25=2.25.

随后用激活函数把 z 变成该单元的输出 h=\phi(z)。本项目支持:

\operatorname{ReLU}(z)=\max(0,z),\qquad \tanh(z)=\frac{e^z-e^{-z}}{e^z+e^{-z}}.

其中 e\approx2.71828,e^z 表示自然指数。ReLU 把负值变为零,保留正值;tanh 把实数映射到 (-1,1)。实现 tanh 时可使用 NumPy 的基本数学函数,避免自己展开大指数。激活逐元素作用,不混合不同单元或不同样本。

仿射值 z ReLU输出 tanh输出(约) 应观察的现象
-1 0 -0.761594 两种激活对负输入不同
0 0 0 此处输出相同不代表所有性质相同
1 1 0.761594 tanh的幅值受限,ReLU可继续增长

此时先不学习权重。分别记录乘积、求和、偏置与激活,检查错误究竟出现在什么位置。

本步实现与检查

步骤2:连接隐藏单元与输出单元

单元输出可以成为下一个单元的输入。隐藏层是输入和最终输出之间的中间计算;每层先做仿射计算,再对隐藏值激活。最终输出层只做仿射计算,其结果如何使用由回归或分类任务决定。

贯穿算例使用两个输入特征、一个 ReLU 隐藏单元、一个线性输出:

z=0.5x_1-x_2+0.25,\qquad h=\max(0,z),\qquad o=1.5h-0.5.

两个带参数的层分别具有隐藏参数 (0.5,-1,0.25) 和输出参数 (1.5,-0.5)。输入层不计为带参数的层。

输入 隐藏仿射值 z 隐藏激活 h 输出计算 输出 o
(2,-1) 1+1+0.25=2.25 2.25 1.5\times2.25-0.5 2.875
(0,2) 0-2+0.25=-1.75 0 1.5\times0-0.5 -0.5

第二行隐藏单元关闭,但输出偏置仍使结果为 -0.5。若程序把输出也强行经过 ReLU,就会错误地产生0。

动手顺序:先建立固定参数,计算一行,再计算第二行;按上表打印中间状态。随后自选一行输入,先预测再运行,作为独立变式。确认输出层没有隐藏激活,且前向函数不会改变原输入或参数。

本步实现与检查

步骤3:将逐行计算改写成矩阵

设 B 为当前批量的样本数,d 为特征数,h 为隐藏层宽度,C 为输出宽度。输入 X\in\mathbb{R}^{B\times d} 每行一个样本。本项目始终使用这一约定,不在代码中混用行样本与列样本。

隐藏权重 U\in\mathbb{R}^{d\times h}、隐藏偏置 a\in\mathbb{R}^{1\times h}、输出权重 V\in\mathbb{R}^{h\times C}、输出偏置 c\in\mathbb{R}^{1\times C},于是

Z=XU+\mathbf{1}_B a,\qquad H=\phi(Z),\qquad O=HV+\mathbf{1}_B c.

\mathbf{1}_B 是 B\times1 的全1列。\mathbf{1}_Ba 表示每行加同一个偏置,程序中由广播完成。它不产生 B 组独立参数。矩阵乘法会对相邻层单元求和,而逐元素乘法不会;本项目用 \odot 表示逐元素乘法。

贯穿算例的数组为

X=\begin{bmatrix}2&-1\\0&2\end{bmatrix},\quad U=\begin{bmatrix}0.5\\-1\end{bmatrix},\quad a=[0.25],\quad V=[1.5],\quad c=[-0.5].

由矩阵乘法得到 Z=[2.25,-1.75]^T,激活后 H=[2.25,0]^T,输出 O=[2.875,-0.5]^T。三个数组都是 (2,1),而不是 (2,)。

对象 形状 应检查的对应关系
XU、Z、H (B,h) 权重的输入宽度等于特征数
HV、O (B,C) 输出层输入宽度等于隐藏宽度
a、c (1,h)、(1,C) 向所有行共享,不增加样本维参数

动手顺序:先核对矩阵内维,再做乘法;加行偏置;对隐藏仿射值激活;重复处理输出层但不激活。把批量结果逐行与步骤2比较。

本步实现与检查

步骤4:保存层列表与前向缓存

用 layer_sizes 保存输入、各隐藏层和输出的宽度。例如 [2,3,1] 表示输入2维、隐藏3单元、输出1维。相邻两个宽度决定一个参数层;[2,1] 是无隐藏层的合法网络。

parameters 是参数字典列表,每层有 W 和 b;W 的形状为“输入宽度 × 输出宽度”,b 为 (1,输出宽度)。所有参数使用双精度 float64。贯穿算例的 U,a 对应第0项的 W,b,V,c 对应第1项。

前向时还要返回与参数层等长的 cache 列表,每层保存:

贯穿算例的第0层 input 是 X、z 是 Z;第1层 input 是 H、z 是 O。缓存保存当前参数状态产生的值;在一次反向完成前,不更新参数、不覆盖缓存。

动手顺序:从当前层输入出发计算 z,保存 input,z,再确定下一层输入。只有最后一个参数层直接输出 z。检查列表长度、每项形状和内容,再考虑训练。

本步实现与检查

步骤5:初始化参数,而不把所有单元设成相同值

固定参数适合检查,训练则需要一个明确、可复现的起点。初始化就是在第一次前向之前创建所有参数。若同一隐藏层的单元从完全相同的权重开始,它们可能一直计算相同的特征;随机权重用于打破这种对称。

正态分布以均值为中心呈钟形,标准差控制数值的分散程度,方差是标准差的平方。每层设输入宽度为 d_{in},权重从均值为0的正态分布抽取。选择 ReLU 时方差为 2/d_{in},选择 tanh 时为 1/d_{in};本项目对每个参数层使用相同的激活对应规则,包括最终仿射层。所有偏置设为零。这是项目的初始化约定,并不保证训练必然成功。

方差等于标准差的平方。生成器的 normal(loc, scale, size) 分别接收均值、标准差和目标数组形状,其中 scale 表示标准差,因此应使用 \sqrt{2/d_{in}} 或 \sqrt{1/d_{in}},不能直接把方差传进去。例如 ReLU 层 d_{in}=8 时,方差为0.25,标准差为0.5。

创建一次 default_rng(seed) 得到本次初始化专用的随机数生成器,按参数层顺序生成权重,再建立偏置。相同宽度、激活和种子应完全复现;不同种子应改变权重;不修改全局随机数状态。有限样本的经验方差通常不精确等于指定方差,不能要求一个小层恰好满足统计期望。

本步实现与检查

步骤6:用 XOR 理解隐藏层的作用

XOR 在两个输入不同时输出1,否则输出0:

x_1 x_2 y
0 0 0
0 1 1
1 0 1
1 1 0

单一仿射分数加阈值的分类器在 w_1x_1+w_2x_2+b>0 时输出1,否则输出0。其分界是直线。XOR 的两个正例、两个负例分别位于对角,不能用同一条直线隔开。

隐藏层可以先构造新特征。思考 x_1-x_2:同输入时为0,不同输入时为正1或负1。分别保留其正部分和负部分的大小,再相加,就能得到“是否不同”的量。请把这个思路写为两个 ReLU 单元的参数和四行值表。这里用一个线性输出检查0/1函数值;后面的训练实验会改用两个类别 logits,二者验证目的不同。

本步实现与检查

完成M1自行检查,记录贯穿算例的独立复算、缓存表、XOR 构造和对应选择题:

按本阶段各步的完成标志核对实现,并在报告中记录检查结果。

本阶段对应题目为附录C的Q01,请在线作答并记录理由。

M2:从损失到各参数的梯度

前向已经能给出预测,还缺一个判断“怎样改参数”的依据。先定义偏差和变化率,再沿前向的依赖关系向后计算;这样一次参数更新的每个数值都有来源。

步骤7:把回归偏差变成标量损失

回归预测实数。目标 Y 与输出 O 都是 (B,C)。残差 R=O-Y 表示各输出偏离目标多少;本项目使用

J=\frac{1}{2B}\sum_{i=1}^{B}\sum_{k=0}^{C-1}(O_{ik}-Y_{ik})^2.

先将每个残差平方,再对所有输出求和,最后除以 2B。正负偏差都受到惩罚,1/2 用于简化后续导数。只对样本平均,不对输出维平均。

贯穿算例第一行的目标取 y=0.875:输出2.875、残差2,单样本损失为 \tfrac12\times2^2=2。若同时使用两行,目标为 Y=[0.875,0.5]^T,则残差为 [2,-1]^T,批量损失为 (4+1)/(2\times2)=1.25。

先实现输出与目标形状检查,再计算损失,返回 Python 浮点数。回归目标不能用 (B,) 冒充 (B,1),否则广播可能产生错误的 (B,B) 残差。

本步实现与检查

步骤8:建立本项目需要的导数与链式法则

导数描述输入发生很小变化时,输出的局部变化率。若 q=f(t),在可导点附近有 \Delta q\approx f'(t)\Delta t。参数一次改变较大时,近似可能不准确。

若函数有多个输入,求某个输入的偏导数时先固定其余输入。对于 z=x_1w_1+x_2w_2+b,固定样本后有 \partial z/\partial w_1=x_1、\partial z/\partial w_2=x_2、\partial z/\partial b=1。

计算可以复合:t 先影响 q,q 再影响 J。链式法则把这条路径的局部变化率相乘:

\frac{\partial J}{\partial t}=\frac{\partial J}{\partial q}\frac{\partial q}{\partial t}.

若同一个参数沿多条路径影响最终损失,各条路径的贡献要相加。例如同一个偏置被两行使用,损失对它的偏导要汇总两行,而不是只保留最后一行。

自然对数 \log t 是自然指数的反函数,与NumPy的log函数一致。本项目需要的局部导数如下,t 表示当前标量输入:

运算 局部导数 条件或含义
t+s 对 t 1 加法传递变化
st 对 t s 另一因子固定
t^2/2 t 平方损失的残差因子
e^t e^t 分类归一化所需
\log t 1/t 仅当 t>0
\operatorname{ReLU}(t) 1 当 t>0;0 当 t<0 零点不可导,程序约定取0
\tanh(t) 1-\tanh^2(t) 可从前向值重建局部斜率

将所有参数的偏导放到与参数相同形状的数组中,称为该参数数组的梯度。梯度不是新参数;它描述当前参数状态的局部变化。

由残差 R_{ik}=O_{ik}-Y_{ik} 和平方损失,先对残差求导再乘以残差对输出的导数1,得到

D^o_{ik}:=\frac{\partial J}{\partial O_{ik}}=\frac{O_{ik}-Y_{ik}}{B},\qquad D^o=\frac{O-Y}{B}.

这里 D^o 已含平均因子。后面计算参数梯度时不能再除以 B。两行算例的 D^o=[1,-0.5]^T;第一行单独处理时则为2。

本步实现与检查

步骤9:为分类建立稳定概率和损失

分类预测类别编号。设有 C 类,目标 y 形状为 (B,),每项是0到 C-1 的整数。网络输出 O 仍为 (B,C) 实数数组,每行各类别的分数称为 logits。分数可正可负,不是概率。

softmax将同一行的分数转为和为1的概率:

P_{ik}=\frac{e^{O_{ik}}}{\sum_{j=0}^{C-1}e^{O_{ij}}}.

类别编号和对应输出列统一为 k=0,\ldots,C-1,因此目标 y 的整数可直接选中相应列。预测取最大分数列,等价于取最大概率列;并列时取最小类别号。

直接计算很大的指数会溢出。令 m_i=\max_jO_{ij},S_{ik}=O_{ik}-m_i,则

\frac{e^{O_{ik}-m_i}}{\sum_j e^{O_{ij}-m_i}} =\frac{e^{-m_i}e^{O_{ik}}}{e^{-m_i}\sum_j e^{O_{ij}}}=P_{ik}.

因此先按行减最大值,再求指数与行和。至少一个指数为1,其余位于0到1之间,不会产生大的指数。

交叉熵惩罚正确类别的概率过低,单行损失为 \ell_i=-\log P_{i,y_i}。为避免正确类概率下溢为0后再取对数,直接由移位分数计算:

\ell_i=\log\left(\sum_j e^{S_{ij}}\right)-S_{i,y_i},\qquad J=\frac1B\sum_i\ell_i.

例如一行 logits 为 (\log2,\log3,\log5),概率为 (0.2,0.3,0.5)。目标为类别2(第三列)时损失为 -\log0.5\approx0.69314718。若 logits 为 (1000,-1000) 而目标是类别1,稳定损失为2000;不能先将很小的概率替换为固定下限再计算本项目要求的损失。

还需要交叉熵对 logits 的梯度。单行也可写为

\ell_i=\log\left(\sum_j e^{O_{ij}}\right)-O_{i,y_i}.

此等式用于求导,实际计算仍使用移位后的稳定形式。对第 k 列求导,第一项经链式法则给出 e^{O_{ik}}/\sum_j e^{O_{ij}}=P_{ik};第二项在 k=y_i 时导数为1,否则为0。定义指示数组 T_{ik}=1 当 k=y_i,其他为0,则

D^o=\frac{P-T}{B}.

T 只是推导中方便表示目标的同形状数组,接口输入仍是一维整数 y。上面的三分类单行梯度为 (0.2,0.3,-0.5),各列之和为0。

动手顺序:检查类别形状与范围;按行移位;计算指数和与概率;由移位分数计算平均损失;从概率中减去正确类指示并平均一次。不要将 softmax 放入隐藏层,也不要在已含 softmax 导数的 D^o 上再乘一次导数。

本步实现与检查

步骤10:沿单样本的依赖关系逐参数求导

回到第一行贯穿算例,令隐藏权重为 w_1,w_2,隐藏偏置为 a,输出权重为 v,输出偏置为 c。关系为

z=x_1w_1+x_2w_2+a,\quad h=\phi(z),\quad o=vh+c,\quad J=\tfrac12(o-y)^2.

其前向值为 z=2.25、h=2.25、o=2.875、y=0.875。从损失开始向输入侧计算:

  1. 输出残差为2,所以 \partial J/\partial o=2。
  2. o 对 v 的局部导数是 h,对 c 是1,所以 \partial J/\partial v=2\times2.25=4.5、\partial J/\partial c=2。
  3. o 对 h 的局部导数是当前 v=1.5,所以 \partial J/\partial h=2\times1.5=3。
  4. z>0,ReLU局部导数为1,所以 \partial J/\partial z=3\times1=3。
  5. z 对 w_1,w_2,a 的局部导数分别为 x_1=2,x_2=-1,1,因此梯度分别为 6,-3,3。
参数顺序 w_1 w_2 a v c
当前参数 0.5 -1 0.25 1.5 -0.5
损失梯度 6 -3 3 4.5 2

这些值全部来自同一次前向的参数状态。程序中先把梯度放入独立数组,不要一边向前一层传播一边改后层权重。

第二行 z=-1.75,ReLU的局部导数为0,故隐藏权重与偏置没有这条样本的梯度贡献;h=0 也使输出权重贡献为0。目标0.5与输出-0.5的残差为-1,输出偏置仍有贡献-1。

本步实现与检查

步骤11:把标量路径汇总为批量梯度

一个批量里的参数共享,所以先按元素写出求和,再组织为矩阵。仍记隐藏宽度为 h、输出宽度为 C,D^o 形状为 (B,C)。

输出元素 O_{ik}=\sum_jH_{ij}V_{jk}+c_k。固定某个 V_{jk},每行都沿 H_{ij} 使用它,因此

\frac{\partial J}{\partial V_{jk}}=\sum_i H_{ij}D^o_{ik},\qquad \frac{\partial J}{\partial c_k}=\sum_i D^o_{ik}.

矩阵形式为

G_V=H^TD^o,\qquad G_c=\sum_{i=1}^{B}D^o_{i,:}.

G_V 形状为 (h,C),与 V 相同。偏置按行求和后仍保留 (1,C),不能变成 (C,)。这里的求和没有再次平均,因为 D^o 已包含 1/B。

一个隐藏值 H_{ij} 影响所有输出列,其收到的变化率需先跨输出求和,再乘激活的局部导数:

D^h=(D^oV^T)\odot\phi'(Z).

D^oV^T 的形状为 (B,h),V^T 将各输出路径汇总回隐藏单元;\phi'(Z) 也是 (B,h),逐元素决定各隐藏路径如何通过。不能用逐元素乘法替代前面的矩阵乘法。

最后,隐藏层也像输出层一样对输入和共享偏置求导:

G_U=X^TD^h,\qquad G_a=\sum_{i=1}^{B}D^h_{i,:}.

梯度 形状 计算结束后必须对应
G_U (d,h) 隐藏权重 U
G_a (1,h) 隐藏偏置 a
G_V (h,C) 输出权重 V
G_c (1,C) 输出偏置 c

对两行贯穿算例,D^o=[1,-0.5]^T,D^h=[1.5,0]^T,所以

G_U=\begin{bmatrix}3\\-1.5\end{bmatrix},\quad G_a=[1.5],\quad G_V=[2.25],\quad G_c=[0.5].

这也等于两行单独求梯度后取平均。若复制每一行,平均损失和梯度应保持不变,这是检验“是否重复平均”的有效办法。

Media omitted
两行回归算例的前向与反向

按编号先沿蓝色框从左向右计算预测,再沿橙色框从右向左传回梯度。绿色支路计算参数梯度,不继续向前传播。各向量都表示列向量,程序仍保留二维;偏置梯度按样本行求和并保留行维,不再次除以批量大小。反向读取同次前向保存的值和尚未更新的参数。第二行隐藏路径被ReLU关闭,但仍影响输出偏置梯度。本图使用两行批量;下一节的更新示例只使用第一行单样本。

本步实现与检查

步骤12:完成一次参数更新

梯度下降沿梯度的负方向移动参数。学习率 \eta>0 控制步长,对任一参数数组 \theta 更新为

\theta_{new}=\theta-\eta G_\theta.

例如第一行单样本取 \eta=0.1,全部参数梯度先计算完,再得到

(w_1,w_2,a,v,c)_{new}=(-0.1,-0.7,-0.05,1.05,-0.7).

重新前向:z=2(-0.1)+(-1)(-0.7)-0.05=0.45,h=0.45,o=1.05\times0.45-0.7=-0.2275。新残差为 -1.1025,损失为 0.607753125,小于初始2。

下表是固定参数、固定目标的实际计算结果,数值经运行核验。每行都从原参数重新开始,不能连续执行三种步长。

学习率 更新后输出 更新后半平方损失 相对初始损失2
0.01 2.49185 1.30710196125 降低
0.1 -0.2275 0.607753125 降低更多,但不构成普遍规律
0.5 -1.5 2.8203125 增大

梯度只刻画局部变化,有限步长可能跨过激活分支或越过较好区域。因此“梯度正确”不等于“任何学习率都降低损失”。sgd_step 只负责修改传入参数列表中各层的参数并返回 None,不重新计算梯度;只把局部变量重新指向新数组而不写回参数,会使调用者看不到更新。

本步实现与检查

步骤13:用中心差分独立检查梯度

解析反向已经给出梯度,还要用另一种计算方式核验。选一个参数标量 \theta_j,固定其他参数,分别计算 \theta_j+\epsilon 和 \theta_j-\epsilon 下的标量损失,得到数值梯度

n_j=\frac{J(\theta_j+\epsilon)-J(\theta_j-\epsilon)}{2\epsilon}.

检查顺序:保存原值;加扰动并完整前向算损失;减扰动再算损失;恢复原值;比较 n_j 与解析梯度 g_j;再检查下一个标量。两次损失均不更新参数,缓存也要重新计算,不能只改参数而继续使用旧前向结果。

使用双精度和 \epsilon=10^{-6},检查点远离 ReLU 零点。贯穿算例第一行的两个扰动均处于激活区域,数值梯度应接近 6,-3,3,4.5,2。公开容差为

|g_j-n_j|\leq10^{-7}+10^{-5}|n_j|.

对上述单行算例实际运行中心差分,最大绝对误差约为 7.03\times10^{-10},满足这一标准;该数值来自本项目双精度运行,不是所有环境必须完全相同的误差。

这同时包含绝对容差和相对容差:真梯度接近零时仍能判断,不会除以零。报告最大绝对误差,并确认检查后参数与原值一致。

若某个 ReLU 的仿射值在正负扰动间跨过0,中心差分会混合两侧斜率,此时不能要求它等于约定的零点导数。应另选远离折点的输入或参数验证解析公式,不能只放宽容差使错误通过。

本步实现与检查

完成M2自行检查,记录一次更新记录、差分误差与真实诊断。如果实现过程中没有遇到错误,可以有意改错一处计算,检查测试能否发现问题,再恢复原实现;报告中注明这是人为设置的测试。

按本阶段各步的完成标志核对实现,并在报告中记录检查结果。

本阶段对应题目为附录C的Q02,请在线作答并记录理由。

M3:推广到多层并组织训练

上一阶段已经完成一个隐藏层的正确更新。多层网络没有引入新的求导原则,但需要统一层编号、缓存顺序和状态;随后才能把一次更新重复为训练过程。

步骤14:统一多层的前向与反向规则

设有 L 个带参数的层,代码索引为 \ell=0,\ldots,L-1。令 A^0=X。第 \ell 层的输入为 A^\ell、权重为 W^\ell、偏置为 b^\ell,其仿射输出为

Z^\ell=A^\ell W^\ell+\mathbf{1}_B b^\ell.

隐藏层令 A^{\ell+1}=\phi(Z^\ell),最后一层直接输出 O=Z^{L-1}。cache[ell] 保存 A^\ell 和 Z^\ell。这里 A 表示进入下一层的值,而 Z 表示当前层激活前的值,不能因为形状相同就混用。

定义 D^\ell=\partial J/\partial Z^\ell。最后一层没有激活,先令 D^{L-1}=D^o。按 \ell=L-1 到0逆序处理:

G_{W^\ell}=(A^\ell)^TD^\ell,\qquad G_{b^\ell}=\sum_i D^\ell_{i,:}.

仅当 \ell>0 时,继续传向前一隐藏层:

D^{\ell-1}=\left(D^\ell(W^\ell)^T\right)\odot\phi'(Z^{\ell-1}).

每层梯度放到原层索引的位置,不要让返回梯度列表变成逆序。无隐藏层时 L=1,直接计算输出层梯度,不访问不存在的前一层缓存。

Media omitted
多层反向循环与缓存读取

图中步骤1每层都执行,步骤2只在存在前一隐藏层时执行。箭头表示执行顺序,右侧回路表示层索引递减后重复计算;不是参数更新。两层网络中 D^1=D^o、D^0=D^h。无隐藏层时跳过步骤2。图内的上标均为层索引,前层激活导数读取的是 cache[ell-1].z。

例如 [2,3,4,2] 在 B=5 时的前向形状如下:

层索引 input W b z 层后处理
0 (5,2) (2,3) (1,3) (5,3) 激活,得到下一层输入
1 (5,3) (3,4) (1,4) (5,4) 激活,得到下一层输入
2 (5,4) (4,2) (1,2) (5,2) 不激活,直接作为输出

动手顺序:先让一个隐藏层按层列表运行;再增加不同宽度的第二隐藏层;先检查前向形状,再对回归与分类分别做数值检查。方阵可能掩盖错误转置,所以检查网络必须包含不相等的层宽。

本步实现与检查

步骤15:把一次更新组织成一个 epoch

批量是一次计算梯度所用的样本集合。epoch 表示训练集中每个样本被使用一次。小批量 SGD 在每批上求平均损失和梯度,更新参数后再处理下一批;不同批次使用的参数状态可能不同。

fit 开始时创建一次训练专用 default_rng(seed)。每个 epoch 调用一次 permutation(len(x)) 得到原始行号的新排列,按批量大小顺序取连续的索引片段。对 x,y 使用同一批索引,每轮都对原始行号生成排列,再用排列选取数据。初始化随机数生成器与训练随机数生成器分别创建,即使种子相同也不共用已消耗的状态。

例如5行训练数据、种子0、批量3时,第一轮排列为 [2,4,3,0,1],两批分别取 [2,4,3] 和 [0,1]。第一批实际样本数为3,第二批为2;尾批的输出梯度应除以2,不能仍除以3,也不能丢弃尾批。

对每一批依次完成前向、损失及输出梯度、全部层反向、一次参数更新。训练期间不把整批标签当作模型输出,不按全数据行号访问缓存,也不让不同批的梯度无意累加。

本步实现与检查

步骤16:记录同一参数状态下的训练过程

一轮更新结束后,用当前参数重新计算全部训练集损失。若提供验证数据,再用同一参数算验证损失;验证过程只前向,不调用反向或更新。这能比较两个集合在相同状态下的表现。

不要平均批次更新前的损失来冒充 epoch 结束损失:一方面它们来自不同参数状态,另一方面尾批大小可能不同。history 每轮增加一项字典,字段 epoch 从1开始,另含 train_loss;提供验证数据时再含 val_loss。训练结束保留最后一轮参数,不自动早停或恢复旧参数。

若损失出现非有限数,保留配置并报告失败,先检查输入、稳定损失和梯度,再考虑学习率。若损失不下降,检查是否真正原地更新、梯度是否非零、ReLU是否全部关闭。

本步实现与检查

步骤17:实现预测并训练 XOR

回归预测直接返回最后一层实数数组 (B,C)。分类预测对每行 logits 取最大列的索引,返回 (B,) 的整数数组;不需要计算概率也能得到类别,但报告概率时必须正确归一化。

XOR 训练使用四行输入和整数目标 [0,1,1,0],网络默认 [2,16,2]。两个输出列分别表示类别0和1的 logits,使用分类损失,不把两个输出分别当作两个独立回归任务。实际批量为4,500轮中每轮一次更新。

先通过小样本多层数值检查,再以种子0、1、2分别初始化和训练。记录四行预测、损失和正确率,训练要求四点全对。手工构造参数能实现 XOR,只证明模型具有表示能力;训练从随机参数到达正确预测,是另一项证据。四个训练点没有独立测试集,不能称为未见数据泛化结果。

本步实现与检查

完成M3自行检查,新增至少一个原创多层差分用例,以及一个尾批或共享偏置的反例测试。说明各测试能发现什么错误,再记录全部种子的 XOR 结果。

按本阶段各步的完成标志核对实现,并在报告中记录检查结果。

本阶段对应题目为附录C的Q03,请在线作答并记录理由。

M4:准备数据、完成实验并解释结果

XOR 已验证有限输入上的训练。下面增加未见样本:先研究一维函数拟合,再研究四维输入的三分类。需要先固定划分和指标,才能判断模型变化究竟带来了什么效果。

步骤18:生成回归数据并区分训练与评测

已提供的生成器使用四个节点 (-2,1)、(-0.5,-1)、(1,0.5)、(2,0),相邻节点之间线性连接。任意区间 [u,v] 内,节点值分别为 r,s 时,目标为

f(x)=r+(s-r)\frac{x-u}{v-u}.

例如 x=0.25 在 [-0.5,1] 中,目标为 -1+1.5\times0.75/1.5=-0.25。这定义数据标签,不是网络的预测算法;np.interp 仅允许在已提供生成器中使用。

在 [-2,2] 上取257个等间距点,索引从0开始:能被4整除的65点训练,余1的64点验证,余2或3的128点测试。三个集合没有重复输入,目标无噪声,全部位于同一区间。训练只使用训练行的目标;评测时网络只能接收输入和已学习参数,不能调用真实函数生成自己的预测。

默认网络为 [1,16,1],输出是实数。记录本项目半平方损失,还记录均方根误差 RMSE:

\operatorname{RMSE}=\sqrt{\frac1N\sum_{i=1}^{N}(\hat y_i-y_i)^2}=\sqrt{2J}.

此等式适用于当前单输出任务。N 是被评估集合的样本数;不能用训练批量大小代替测试集大小。两个误差0和2的样本,RMSE为 \sqrt2,不是平均绝对误差1。

本步实现与检查

步骤19:读取 Iris 并固定分层划分

单文件内嵌的 IRIS_CSV 是逗号分隔的文本数据,无表头,共150行。前四列是萼片长、萼片宽、花瓣长、花瓣宽,单位厘米;第五列依次映射 setosa/versicolor/virginica 为 0/1/2,每类50行。数据读取已经提供,不需要新增下载或第三方加载器。

分层划分要求各集合保持相同类别比例。split_iris 使用一个 default_rng(23),按类别0、1、2顺序分别找出该类原始行号并置乱,每类前30/中10/后10行形成训练/验证/测试集,共90/30/30。各集合按类别顺序连接,不再次置乱;训练的 epoch 内另行置乱。

先返回索引,再由索引取 x,y。检查三个集合互不重叠、合起来恰好覆盖150行,且各类数量分别为30/10/10。不要独立打乱特征和类别,否则样本会被配上错误目标。

本步实现与检查

步骤20:只从训练集拟合标准化参数

不同特征尺度会影响权重、激活及梯度的大小。对特征 j,用训练集的 N 行计算均值和总体标准差:

\mu_j=\frac1N\sum_i X_{ij},\qquad s_j=\sqrt{\frac1N\sum_i(X_{ij}-\mu_j)^2}.

这里标准差分母为 N,对应 ddof=0。若 s_j=0,将除数替换为1。对任一集合的行都使用相同变换 \widetilde X_{ij}=(X_{ij}-\mu_j)/s_j,不能为验证或测试重新拟合统计量。mean,scale 保持 (1,d),输入数组不原地修改。

例如训练两行为 (0,7)、(2,7),均值为 (1,7),实际除数为 (1,1);标准化训练行为 (-1,0)、(1,0)。验证行 (10,9) 应变为 (9,2),不能因为只含一行就把它自身标准化为零。第二列的训练值恒定,并不意味着验证值一定也恒定。

若用全部150行拟合均值或标准差,训练流程就使用了本应未见的数据统计信息,称为数据泄漏。先划分、再只用训练集拟合,保存统计量供预测复用。

本步实现与检查

完成本步后回答附录C中的Q04,并在报告记录选项和简短理由。

步骤21:计算分类指标并解释矩阵

Iris 默认网络为 [4,16,3]。每行输出3个 logits,对应固定类别顺序。预测类别与目标相等记为一次正确,准确率为正确数除以被评估样本数。交叉熵还反映模型分配给正确类的概率,因此准确率相同的模型可能有不同损失。

混淆矩阵为 C\times C 计数表,行是真实类别,列是预测类别。遍历每个目标 t 和预测 p,把单元格 (t,p) 加1。主对角线表示正确分类,非对角线说明误分去向,总和等于样本数。

例如真实类别为 [0,1,1,2],预测为 [0,2,1,2],则

M=\begin{bmatrix}1&0&0\\0&1&1\\0&0&1\end{bmatrix},\qquad \operatorname{accuracy}=\frac{\operatorname{trace}(M)}4=\frac34.

\operatorname{trace}(M) 表示主对角元素之和。本例只是说明指标计算。对自己的 Iris 测试结果,应保存真实预测逐行记录,再形成矩阵,不能先填矩阵再捏造样本。

本步实现与检查

完成本步后回答附录C中的Q05,并在报告记录选项和简短理由。

步骤22:按相同实验条件比较模型

所有用例以一个16单元隐藏层、ReLU、学习率0.05、500个 epoch、批量16为默认起点。它是启动配置,不保证每个种子都成功。初始化与训练置乱分别使用种子0、1、2;Iris 划分始终使用23。

XOR和回归分别完成默认配置的三个种子实验;以下三组必做对照至少在 Iris 上完整执行,不把三组设置全部组合做穷举搜索:

对照 设置 保持一致
学习率 0.01、0.05、0.1 一个16单元隐藏层、ReLU、500轮、批量16
深度 无隐藏层、[16]、[16,16] 学习率0.05、ReLU、500轮、批量16
激活 ReLU、tanh,均使用[16] 学习率0.05、500轮、批量16;尺度按各自初始化约定

默认配置在多组对照中出现时可以复用同一原始记录,不伪装成新的独立实验。XOR和回归至少完成默认配置三种子运行;失败时保留原记录,再注明诊断和追加实验理由。选做更深结构或L2正则化(在损失上加权重平方和惩罚)不能替代核心正确性。

训练集用于求梯度;验证集用于选择配置;测试集只用于评估最终确定的配置。先对每个候选配置计算三个种子的验证损失均值,选择均值最低的共同配置,若完全相同则优先参数少者。记录选择理由并确定最终配置,然后分别评估三个种子的测试结果;之后不再根据测试结果修改配置。不能看过测试结果再反复调参;若发生,应如实说明测试集已不再独立。XOR没有单独验证集,默认三种子拟合与诊断不能作为根据验证集选择配置的结果。

汇总三个实测指标 q_0,q_1,q_2 时,报告全部值、均值及总体标准差:

\bar q=\frac{q_0+q_1+q_2}{3},\qquad s_q=\sqrt{\frac{\sum_{r=0}^{2}(q_r-\bar q)^2}{3}}.

该标准差使用 ddof=0,表示三个初始化运行的波动,不是对多个独立数据集的评估。回归测试点都在训练区间内,也不支持区间外外推的结论。

本步实现与检查

步骤23:组织实验并保存结果

run_experiment 按以下顺序组织已完成的函数,不在其中另写一套网络算法:建立新的输出目录并拒绝覆盖;准备对应数据;确定输入、输出与隐藏宽度;初始化;训练;计算允许访问的集合指标;保存结果。Iris先划分和标准化,XOR不传验证数据,回归使用固定的三组点。

开发阶段 evaluate_test=False,只记录训练和存在的验证指标。可以准备测试输入和预处理状态,但不计算或保存测试指标及预测。确定最终配置后,在新目录中以 evaluate_test=True 做最终测试,不覆盖开发日志。

文件 必须记录的内容
config.json case、seed、split_seed(Iris为23,其余可为null)、activation、hidden_sizes、learning_rate、epochs、batch_size、evaluate_test、python、numpy
history.csv 每轮一行;epoch、train_loss,存在验证数据时加val_loss
metrics.json 按train、validation及开启后的test分组;每组含loss,回归另含rmse,分类另含accuracy与confusion
predictions.csv 列名split、row_in_split、target、prediction;只存实际评估集合,行号从0开始
parameters.npz 每层数组,键名为0_W、0_b、1_W、1_b等;索引与参数层列表一致
preprocessing.npz 仅Iris需要;键为train、validation、test索引以及mean、scale

JSON存对象、数值和列表,CSV存表格,NPZ存NumPy数组;可用标准库的 json.dump 写对象、csv.DictWriter 按字段写行,使用 NumPy 的 savez 按键保存数组。用 Path.mkdir 的 parents=True 创建尚不存在的父目录,并以 exist_ok=False 拒绝覆盖已有实验目录。Python版本可由 platform.python_version() 获得,NumPy版本为 np.__version__;配置必须记录真实环境版本。metrics.json 中缺少 test 组与“测试得分为零”是不同状态;未评估时应省略,不填假数值。

在代码目录中完成单文件后,例如开发运行:

python student_template.py experiment iris --seed 0 --hidden-sizes 16 --activation relu --learning-rate 0.05 --epochs 500 --batch-size 16 --output-dir runs/iris_dev_seed0

命令行中 --hidden-sizes 后的整数只描述隐藏层;无隐藏层时该选项后不接整数。默认命令行参数为种子0、ReLU、隐藏宽度[16]、学习率0.05、500轮、批量16;输出目录必填。使用 --evaluate-test 才开启最终测试。每次种子、结构或学习率改变都用新目录,输出用终端表格和CSV,不要求绘图库。

本步实现与检查

步骤24:按现象定位问题并形成结论

现象 先检查什么 需要的证据
固定前向不符 内维、偏置广播、输出层是否误激活 逐层input、z与输出
差分不符 损失平均、转置、缓存、折点、参数恢复 最小输入、逐参数误差
损失爆炸或非有限 稳定分类损失、梯度、尺度、学习率 失败配置与首次异常轮次
损失停滞 原地更新、零梯度、关闭的ReLU 更新前后参数和局部激活
训练好而验证差 结构、训练时长、配置选择过程 相同配置的两集合损失
成绩异常好 泄漏、目标误用、训练/测试重叠 索引、预处理与逐样本预测

每次先提出一个可检查的原因,再改变一个因素验证,不同时修改多处后猜测起因。报告应能从原始配置和日志追溯数值;参考目标不是实测结果,失败同样是需要解释的数据。

本步实现与检查

完成M4自行检查,并保存默认配置、三组对照、最终配置确认记录和全部原始结果:

按本阶段各步的完成标志核对实现,并在报告中记录检查结果。

进度安排与提交清单

周次 验收内容 必须保留的证据
第1周 M1 初始化、前向、手工 XOR 手算、形状、Q01、阶段结果
第2周 M2 损失、反向、SGD、数值检查 梯度表、更新比较、Q02、诊断记录
第3周 M3 多层、小批量、预测、XOR训练 原创测试、种子结果、Q03
第4周 M4 回归、Iris、对照、最终评测 日志、配置选择依据、Q04–Q05、报告与贡献记录

提交时区分代码、测试操作和课程附件:

  1. 平台代码:把完成后的student_template.py全文粘贴到代码文本框。只提交这一份代码,保留内嵌数据、函数签名和入口;无需submission目录、其他模块或CSV文件。
  2. 在线作答:提交五道选择题答案;需要调试文本入口时,使用附录D中的教学示例,不需要取得正式测试文件。
  3. 课程附件:填写机器学习课程项目-报告模板,每人最终只提交自己的报告PDF(Word模板用于填写,无需提交)、自行检查与原创测试证据、runs中的配置和日志、逐样本预测及必要参数文件。
  4. 个人参与情况只填写报告中的成员贡献表,列明负责步骤、具体成果和证据位置,由成员确认记录属实。不要求另交贡献文件或填写贡献百分比。个人贡献5分由教师人工评价。

阶段检查用于帮助完成项目,必要记录随最终报告提交,不另设阶段报告或阶段提交期限;教师另行布置的安排除外。

报告中的结果表为本组实测,不预填他人实验结果;每张表说明数据划分、种子、配置、指标和比较目的。除必要公开检查点外,本任务书不提供可直接对照的训练成绩。

详细证据的保存方式与可选附件目录见附录E。

提交前自查。 从空输出目录重跑一条完整命令,确认无需网络下载和额外第三方包;代码能从任意工作目录读取内嵌数据;先通过固定计算和梯度检查,再检查实验是否真正使用了自己实现的网络。报告按评分与证据对照表填写,各阶段正文只保留关键结果和简短解释;详细推导、计算、测试和日志放附件,同一证据只保存一次,未完成项如实标记。

评分标准

分项量表

项目 项目分值 计分方式
程序实现 60 平台单项100分,每通过一例计项目6分
数学理解 10 五道选择题,每题2分
报告:实验分析 15 结果完整6分、对照分析6分、配置选择与结论3分
报告:原理、实现与复现说明 10 原理与实现说明4分、复现与证据4分、组织与表达2分
报告:本人贡献 5 具体成果、证据及必要核验

代码单项成绩=通过例数×10;项目总分=通过例数×6+数学理解+报告成绩(满分30)。每例通过得10分代码分(项目6分),失败、超时或输出不符得0分,无部分分。共同项95分,个人贡献5分。

计算正确性与实验表现

数值、形状和梯度按指定容差检查;XOR训练要求四点全对。回归与 Iris 不设一次随机运行必须达到的统一准确率或误差门槛,而检查数据协议、损失下降、三种子记录、对照和解释。低于自身无隐藏层网络的比较结果时,应给出诊断,不能隐去结果;也不保证更深结构一定优于无隐藏层网络。

发现绕过网络直接返回标签、针对公开输入写死答案、用禁用工具完成核心计算或伪造结果时,相关证据无效,对应未验证的评分细项不得分,并由教师核验处理。

个人核验可要求现场说明一个张量形状、重建一段局部推导、解释一个失败用例或预测输入变化后的行为。个人核验只用于个人贡献证据,不额外改变已经取得的代码测试分。

十个代码给分点

按顺序为初始化、前向、回归损失、稳定分类损失、批量反向、多层tanh反向、SGD、含尾批的分类训练、Iris预处理、分类预测。每例代码分10分,正式用例由平台执行;数据读取示例只验证环境,不单独给分。

附录

以下内容按需查阅;附录C的五道题为必答题。

附录A:函数接口速查

前面已经说明各步如何计算。本节把相同约定集中为可执行的接口约定,便于把自己的程序连接到评阅入口;这里的字段不引入另一套算法。

网络接口:完整参数与默认值

以下仅列调用签名,不提供函数实现。* 后的参数需按名称传入。位置参数与返回顺序必须一致。

损失拒绝空批量、非二维输出、目标形状不匹配及越界类别。激活仅接受 relu,tanh。学习率为有限正数,批量大小和epoch为正整数。提供验证数据时 x_val,y_val 必须成对提供。数组索引、标签和参数必须与当前样本对应。

注意 fit 的接口默认200轮,而实验命令行默认500轮;run_experiment 必须将实际实验轮数显式传给 fit,不能把二者混为一谈。

数据与实验接口

单文件可任意改名并在任意目录运行;Iris由内嵌文本解析,不读取外部文件。

附录B:实现辅助

以下伪代码是实现顺序说明,不是另一套需要提交的程序。每一段都在同一个student_template.py中实现。先完成一段并按正文方法检查对应功能,再继续下一段。不要一次修改所有函数。

稳定分类损失:对应loss_and_output_grad

输入:一批logits和整数类别;输出:平均损失及对logits的梯度。

对每行找到最大分数,并从该行所有分数中减去它
计算移位分数的指数,以及每行指数之和
概率 = 每项指数 / 对应行的指数和
每行损失 = log(该行指数和) - 该行正确类别的移位分数
平均损失 = 各行损失之和 / 实际行数
复制概率数组,在每行正确类别处减1,再除以实际行数
返回平均损失和梯度

检查:三个相同分数得到相等概率;大分数输入不应产生无穷大。类别编号直接选择对应列,不再对结果额外应用softmax导数。

多层反向:对应backward

输入:输出梯度、前向缓存和当前参数;输出:与参数同结构的梯度。

创建与参数层数相同的梯度列表
当前梯度 = 输出梯度(已经包含样本平均)
从最后一层向第0层处理:
    权重梯度 = 本层缓存输入的转置 × 当前梯度
    偏置梯度 = 当前梯度按样本行求和,保留一行
    把这两个梯度存入本层原来的索引位置
    如果还有前一层:
        传回的梯度 = 当前梯度 × 本层旧权重的转置
        从前一层缓存z计算激活导数
        当前梯度 = 传回的梯度逐元素乘激活导数
返回梯度列表;本函数不更新参数

检查:每项梯度形状与参数相同。只有输出层时,完成一层即结束;不要访问前一层。

中心差分:用于检查,不用于训练

先在原参数状态计算解析梯度并保存
对每个参数数组中的每个标量:
    保存原值
    改为原值+epsilon,重新前向计算损失plus
    改为原值-epsilon,重新前向计算损失minus
    恢复原值
    数值梯度 = (plus-minus)/(2×epsilon)
    按正文容差比较数值梯度和解析梯度
记录最大误差,并确认所有参数都已恢复

先检查正文给出的单行例子,再检查多层。epsilon为1e-6,避开ReLU零点;若失败,先检查形状和是否重复除以批量大小。

小批量训练:对应fit

创建一次训练专用随机生成器default_rng(seed)
每个epoch:
    生成原始行号的新排列permutation(训练行数)
    每次取batch_size个索引;不足一批的尾部也保留
    对每批,用同一组索引取输入和目标:
        前向 -> 损失和输出梯度 -> 全部反向 -> SGD更新
    用更新后的参数重新计算全训练集损失
    如果提供验证集,只前向计算验证损失,不更新
    保存本轮epoch、train_loss及存在时的val_loss
返回记录;参数已在原列表中更新

检查:7行、批量3应处理三批;验证数据不能影响更新结果。不要把批次更新前的损失平均成最终日志。

根据验证结果选择模型配置与日志:对应run_experiment

每个候选配置分别运行种子0、1、2
记录每次配置、训练日志和验证损失;暂不评估测试
计算每个配置的三种子平均验证损失
选平均损失最小者;相同时选参数少者,写下选择理由
确定最终配置后,对三个种子做最终测试并保存结果
创建新的输出目录,已存在时拒绝覆盖
准备该任务的数据;Iris先划分,再仅以训练集拟合标准化
确定输入/输出宽度,初始化参数,调用fit
保存config.json、history.csv和parameters.npz
对允许评估的集合计算指标与逐行预测
保存metrics.json、predictions.csv;Iris另存preprocessing.npz
返回指标字典

测试设计也可按固定框架完成:选一个正文未使用的输入,先写出应保持的关系(如复制样本后平均梯度不变),运行并比较;再说明它能够发现哪一种错误。如果没有实际遇到的错误,可有意改错一处计算,观察测试结果后恢复,并在报告中注明。

附录C:五道必答选择题

五题均在平台内置选择题中提交,每题2分,共10分。单选选择一个字母;多选选择所有正确陈述。多选按完整集合判分,选项顺序不影响结果;错选、漏选、多选或未答均得0分,不给部分分。不要把选择题答案填入代码测试的JSON框。

报告中记录在线提交的选项,并用一行算式或一两句话说明原因,不要求逐项长篇论证。理由说明纳入既有报告评分,不改变平台判定的选择题成绩。各项分值见评分标准。

Q01(多选,2分)

给定z=0.5x1-x2+0.25、h=max(0,z)、o=1.5h-0.5,输入为(1,0)。哪些陈述正确?

Q02(单选,2分)

原权重0.5、梯度6、学习率0.1,按“原权重减去学习率乘梯度”更新一次,新权重是多少?

Q03(多选,2分)

共有7个样本,每批尽量取满3个,最后不足3个也处理。每批梯度按实际样本数平均。哪些陈述正确?

Q04(多选,2分)

仅从训练集得到均值(1,7)和除数(1,1)。验证输入为(10,9),按“先减均值,再逐项除以除数”变换。哪些陈述正确?

Q05(多选,2分)

题目给定一次测试共有30个样本,其中27个预测正确。哪些陈述正确?

附录D:运行方式与文本输入输出

两种启动方式与平台粘贴流程

无命令行参数时,程序进入文本评阅模式,等待标准输入中的一个JSON对象;它不会自动开始训练。只运行 以下命令 而未输入任何内容,不是完整的测试操作。

python student_template.py

评分系统中,代码文本框粘贴student_template.py的全部Python内容,包括内嵌数据和最后的入口;不要粘贴Markdown围栏。测试输入文本框只填写JSON,例如:

{"op":"load_iris","summary":true}

这一操作使用已提供的数据读取函数,未完成核心TODO时也可验证平台入口。返回数据形状、类别数量及首行特征说明内嵌数据和输入输出流程已运行;并不表示网络任务已经完成。本地Bash可用以下命令送入同一测试:

echo '{"op":"load_iris","summary":true}' | python student_template.py

JSON中的键和字符串使用英文双引号,不能写成Python单引号字典。空输入返回EmptyInput;格式错误返回InvalidJSON及行列提示;顶层不是对象返回InvalidInput。程序接受输入开头的BOM,但不把代码围栏或Python源码当作测试数据。

本地需要训练时,显式使用experiment子命令,例如:

python student_template.py experiment iris --epochs 500 --output-dir runs/iris_dev_seed0

实验模式解析命令行并写日志,不使用JSON测试输入。平台文本评阅不需要命令行参数,不依赖外部文件或输出目录;本地训练日志作为报告证据另行提交。

标准输入输出:一例一个进程

第三方评阅每次启动提交的单文件,把一个JSON对象全文送到标准输入,从标准输出读取一行结果。JSON对象用花括号和键值表示,数组用方括号嵌套;输入的实数使用数值,分类目标使用整数。适配层已提供,学生只完成被调用函数,调试日志写标准错误而非标准输出。

平台每例输入和期望输出均限2000字符。load_iris和prepare_iris可增加"summary":true使用紧凑摘要;不指定时仍返回完整数据,完整模式适合本地查看。摘要功能已提供,无需另行实现;需要查看完整数组时在本地使用完整模式。

输入字段 op 选择操作。parameters 是层字典列表,各层含 W,b;x 和回归 y 为二维数组,分类 y 为一维整数数组。通用可选字段 activation 默认relu;task 在backward、step、fit、predict中默认regression,在loss中必填;seed 在init、fit中默认0,在split中默认23。其他操作不使用这些不相关字段。

op 除op外的必需字段 输出字段
prepare_iris 无;输出划分索引、三个标准化数组及mean、scale 见左列
load_iris 无 x(150×4)、y(150个整数类别)
init sizes shapes及下面列出的初始化属性
forward x、parameters output、cache
loss output、y、task loss、output_grad
backward x、parameters、y loss、gradients
step x、parameters、y、learning_rate 更新后的parameters、output_after
predict x、parameters prediction
fit x、parameters、y、learning_rate、batch_size、epochs 更新后的parameters、history
split y(类别0、1、2各50行) samples、train、validation、test
standardize train、validation、test train、validation、test、mean、scale

init 的 sizes 对应 layer_sizes。输出 shapes 按层记录权重与偏置形状;另外输出布尔属性 repeatable,zero_bias,finite,nonzero_weights,different_seed,global_state_preserved,variance_ok,分别检查同种子复现、零偏置、有限值、非零权重、异种子差异、全局随机状态不变以及初始化尺度。尺度仅在单层至少500个权重时检查经验方差与规定方差之比在 (0.85,1.15);小层不做这一统计检查。

输出按键排序、移除多余空格;实数统一序列化为八位小数字符串,整数类别、维数、epoch和布尔值保持JSON类型。小于 0.5\times10^{-8} 的实数幅值规范为正零;内部仍以双精度计算,不能提前取整。数组中的实数也按此规则输出。

以下是可独立运行的最小例子。输入为单样本双输出回归损失:

{"op":"loss","output":[[1,2]],"y":[[0,0]],"task":"regression"}

平方和为5、样本数为1,损失2.5,输出梯度为 (1,2)。精确文本输出为:

{"loss":"2.50000000","output_grad":[["1.00000000","2.00000000"]]}

贯穿算例的单行前向可输入如下;两个参数字典分别表示隐藏与输出仿射层:

{"op":"forward","x":[[2,-1]],"parameters":[{"W":[[0.5],[-1]],"b":[[0.25]]},{"W":[[1.5]],"b":[[-0.5]]}]}

结果中的output为2.875;cache第0项input为原输入、z为2.25,第1项input为2.25、z为2.875,形状均保留二维。完成函数后,由同一适配层生成规范JSON,无需手工拼字符串。

本地检查与平台判定

在解压后的代码文件夹中,按正文各步给出的调用和命令检查结果。

自行检查应记录输入、关键结果和结论,不只记录“有输出”。正式测试由平台执行;报告记录自行检查与实验结果。各步骤中的例子用于理解和排错,不能替代对其他输入的检查。

附录E:证据保存与附件组织

同一证据只保存一次。报告中的证据位置可以是报告章节,也可以是附件相对路径,不必为每一步新建文件。

内容 保存方式
平台最终成绩 提交标识可取得时选填
本地阶段检查 复制自行检查的输入与终端结果到报告附录或一份检查记录即可
手算、梯度、原创测试、诊断 放报告附录或合并为一份附件;记录输入、关键结果与结论,不要求每步单独建文件
M3的XOR训练 报告记录三种子结果,交互输出可复制到上述检查记录;不要求尚未实现的实验入口生成日志
M4实验 保留步骤23规定的程序输出文件,直接引用实验目录,不重复导出相同内容

混淆矩阵可以引用metrics.json中的记录,不必另画表格或图片。有误分时简述一个误分样本;无误分时写“本次无误分”,不增加其他样本分析任务。

例如,可以将提交文件组织如下;目录和文件名可调整,检查记录也可并入报告附录:

submission/
|-- report.pdf
|-- checks.txt          (可选:若已写入报告附录,无需此文件)
`-- runs/              (保存实际实验的原始输出目录)

完整Python代码和五道选择题答案仍在平台提交。这里的submission只是可选附件文件夹名称,不是代码运行所需目录。