机器学习综合训练任务书

从哪里开始

本项目分为个人基础任务与小组自选项目,用四周完成一次可解释、可重复的机器学习实验。基础任务每人独立提交;自选项目每组选一个题目和一条主路线;普通CPU即可完成必做部分。第一次可以下载数据或模型,无需购买API或GPU。请围绕自己的兴趣或实际问题自主选题。文中的七题用于说明不同任务的实施方法,可按需参考;单车和房价涉及表格处理,迁移学习和检索涉及模型下载。

你需要回答:输入是什么、预测什么、怎样判断效果、结果能用于什么条件。示例:用一套房屋的面积等已知属性预测售价;售价不能同时出现在输入中。分类预测类别,回归预测数值,检索返回相关条目的排序。

基础任务:个人完成

解压后,找到包含README.md的ml_application文件夹。打开终端(Windows可用Anaconda Prompt),用cd命令进入该文件夹;这里称为工作目录,后续相对路径都从这里查找。若已经进入,不必再次执行cd ml_application。只需Python 3.8或以上及标准库,无需安装任何包。

cd ml_application
python basic/student_template.py --check
python basic/run_checks.py --submission basic/student_template.py

命令中的python启动Python解释器,后面的.py文件是要运行的程序;–check是传给程序的选项。代码中TODO表示需要补全的位置,NotImplementedError表示该部分尚未实现。–check只验证解释器和入口,TODO尚未完成时算法检查失败属正常。依次补全squared_distance、predict_one、count_correct。点用两个整数构成的列表表示,如[3,4];a[i]表示第i项,索引从0开始。平方距离为两坐标差的平方之和:[0,0]与[3,4]得到9+16=25,无需开平方。遍历训练点,保留最小距离及对应标签;相等时保留先出现者。最后逐位置比较预测与真实标签,累计相等次数。

JSON是一种用字段名表示数据的文本格式,例如{“op”:“distance”}中op是字段名、distance是字段值;列表用方括号表示。标准输入是程序接收输入的通道,标准输出是程序返回结果的通道,本地通常对应终端。程序每次从标准输入读取一行JSON,输出一行紧凑JSON;不要向标准输出增加提示。op=distance时输入a、b,输出整数距离;op=predict时输入x(训练点列表)、y(对应类别)、query,输出类别;op=count输入predictions、labels,输出正确数;op=classify输入x、y、queries、labels,输出predictions与correct两个字段。输入输出示例见basic/examples中的成对.in与.out文件。可运行以下命令,应输出25。

python basic/student_template.py < basic/examples/01.in

有效输入约定:坐标为-100至100整数,标签为0至99整数;训练点1至20个,查询1至20个,所有对应列表等长,点均为二维。count允许空列表,结果0。平台每例输入输出均不超过2000字符。每例独立启动,无文件读写、网络或第三方依赖。

平台评分规则见《机器学习综合训练-任务书及评分标准》“评分标准”章。提交补全后的单文件,不提交本地运行器。教师完整实现不向学生分发。

基础题分阶段操作

三个函数写在同一份basic/student_template.py中,不拆成多个提交文件。先不运行完整流程,逐步检查:

  1. 距离阶段(distance):补全squared_distance,按坐标累计平方差。[0,0]到[3,4]应为25。
  2. 预测阶段(predict):补全predict_one,保留最近训练点的类别;单训练点查询应返回该点标签。
  3. 统计阶段(count):补全count_correct;三项全对返回3,空列表返回0。
  4. 联调阶段(classify):不新增函数,用已提供的入口连接预测与统计;公开例两条预测[0,1],正确2条。

例如先运行:

python basic/run_checks.py --stage distance --submission basic/student_template.py

依次将distance换为predict、count、classify。最后去掉–stage运行全部公开例。阶段检查只执行声明范围;初期其余TODO尚未实现不会影响当前函数检查。

手工核验预测:训练点[-1,0]类别7、[1,0]类别3,查询[0,0]与两点平方距离都是1,应选择先出现的类别7。不要以类别数字大小作为平局规则。预测标签应取train_y[最近位置],不能误返回位置本身。位置从0起,位置不等于类别。

输入输出示例(各一行):

{"op": "classify", "x": [[0,0], [3,3]], "y": [0,1], "queries": [[0,1], [3,2]], "labels": [0,1]}
{"predictions":[0,1],"correct":2}

自动评阅精确比较紧凑JSON,保留已提供的序列化代码及字段顺序;仅补全三个函数。输入非法时提供代码会报错,但正式用例均符合约定。count最多20项。外部平台不提供输入文件,通过标准输入给出JSON;本地的重定向符号“<”只是模拟同一过程。

材料清单注明已提交的基础题文件,平台提供提交标识时可记录。无需为基础题另写长报告,也无需导出平台不存在的文件。理解题:距离最小为何无需开平方?自查:非负数开平方保持大小顺序,平方距离选出的最近点相同。

自选项目环境

基础任务通过仅证明标准库运行正常。自选项目需另装对应依赖,从发布包根目录运行:

python -m pip install -r requirements.txt
python intro.py

PyTorch路线另装requirements-torch.txt,预训练检索路线另装requirements-retrieval.txt。intro.py用于理解第三方库的训练与预测流程,不作为基础任务提交。详见本任务书“项目共同知识与排错”一节。建议自选项目使用Python 3.11独立环境,基础题仍只需标准库。

四周操作安排

训练集用于学习;验证集用于选择参数和方法;测试集用于最终估计泛化效果。不要反复查看测试分数后改模型。预处理也只能在训练集拟合,参见官方说明。时间数据按先后划分;重复样本不能横跨划分。

多数类预测和训练目标均值是简单参照,不是完成机器学习项目的替代。超参数是训练前选择的配置,如正则强度或隐藏层宽度。每次改动先写原因,只改变少量条件;效果下降也需要如实记录。

回归MAE为绝对误差的平均值,RMSE为平方误差均值的平方根,均越小越好。分类精确率表示预测为正的样本中有多少确实为正,召回率表示真正为正的样本找回多少;F1是二者的调和平均,分母为零时明确记0。类别不均衡时不能只看准确率。Recall@3是前三项中命中相关项的查询比例(本任务每条查询一个相关FAQ);MRR是首个相关项排名倒数的平均值,未找到记0。

自主确定项目

优先选择自己希望解决的问题。第一周在报告第一部分写出:谁在什么情境下需要结果;输入是什么;输出是什么;数据从哪里取得;准备采用什么机器学习方法;用什么指标判断是否有效;现有设备与时间能否支持。教师据此提供反馈,无需另交申请表。

例如“预测价格”还不够明确,可以写成“根据公开房屋记录中的面积、房龄等信息预测售价,用保留样本上的平均绝对误差评价”。这是问题表述示例,不要求选择房价题。

自拟项目可使用自己的代码目录和运行入口,无需符合参考模板的函数或文件结构。报告中的命令统一从ml_application根目录开始。方法和工具按问题选择,不要求同时使用传统模型和神经网络。完成简单参照、初始方案与至少两个有依据的改动或对照,再用事先保留的数据做最终评价。评价结果未提高时,保留真实结果并解释原因。

参考选题与操作说明

以下七题仅供参考,不限定自主选题范围。所有项目均按完成质量评分,不因平台、竞赛是否结束或模型规模限制成绩。表格、数字和短信题已提供读取、划分与保存框架,学生在candidates中完成模型与比较;通过–stage依次执行data、baseline、compare、final。现代AI题使用专用阶段入口,以选题说明为准。数据阶段无需先补全算法;阶段检查只证明其声明的检查范围通过。

红葡萄酒质量预测

回归;MAE与RMSE;分号分隔CSV;标准化。建议方法:Ridge;PyTorch或预训练路线:MLP回归。

只用红葡萄酒文件,read_csv(…, sep=“;”);删除目标列后生成X。相同特征记录放在同一划分,避免重复样本跨集合。

详细步骤与模板见附录:wine参考项目操作。

手写数字识别

分类;8×8像素;0—16灰度;每行64个特征。建议方法:LogisticRegression;PyTorch或预训练路线:64至32至10。

使用load_digits(return_X_y=True),不需要下载;每行64个像素,不能当作MNIST的28×28图像。

详细步骤与模板见附录:digits参考项目操作。

英文垃圾短信分类

分类;TF-IDF词频权重;spam为正类;精确率、召回率和F1。建议方法:MultinomialNB;PyTorch或预训练路线:受限TF-IDF至线性分类器。

文件无表头,每行标签与短信以制表符分隔;先按完整文本去重,再分层划分。TF-IDF只在训练文本fit。PyTorch词表上限2000,避免无界稠密矩阵。

详细步骤与模板见附录:spam参考项目操作。

共享单车日需求估计

回归;时间顺序;天气条件下的需求估计。建议方法:Ridge;PyTorch或预训练路线:MLP回归。

按dteday排序,前60%训练、中间20%验证、最后20%测试。删除instant、dteday、casual和registered;cnt=casual+registered,保留后两列会直接泄漏答案。实际天气只能支持条件估计。

详细步骤与模板见附录:bike参考项目操作。

Kaggle房价预测

回归;缺失值;类别编码;自然对数目标。建议方法:Ridge;PyTorch或预训练路线:MLP回归。

登录Kaggle并接受规则后下载train.csv、test.csv和sample_submission.csv。只从有标签train.csv划本地训练/验证/测试;Id不是特征。学习log(SalePrice),预测后exp还原;按sample_submission的Id顺序输出Id,SalePrice,不写CSV索引。线上分数不能替代本地评估。

详细步骤与模板见附录:house参考项目操作。

图像迁移学习

图像张量;归一化;预训练权重;冻结参数。建议方法:冻结ResNet18特征加逻辑回归;PyTorch或预训练路线:冻结ResNet18加分类头。

从官方教程下载hymenoptera_data。原train再分训练与验证,原val保留作测试。加载ResNet18默认权重及对应transforms;冻结骨干,model.eval()且no_grad()提取512维特征,训练2类分类头。冻结参数不会自动冻结BatchNorm状态。

详细步骤与模板见附录:transfer参考项目操作。

中文FAQ相似问题检索

向量;余弦相似度;相关性标注;排序。建议方法:字符TF-IDF;PyTorch或预训练路线:预训练文本向量。

包内提供30条人工教学FAQ及每题两个改写查询;正式项目需增补独立编写的查询,按FAQ标识分为开发与测试查询,保留统一候选库。标注每条查询相关FAQ标识。比较字符TF-IDF与sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2,编码问题而非长答案,使用归一化向量点积排序。不得用测试查询调整方案。

详细步骤与模板见附录:retrieval参考项目操作。

自选大模型项目

允许自行训练、微调大模型或自费调用API。先向教师说明任务、数据、评价集、设备、预计时间与费用。四周项目优先选择小模型微调、冻结特征或检索增强,不将从零训练大型模型作为默认目标。API调用成本按输入输出token量乘当时官方单价估算,先少量试运行并设置调用上限;价格和配额以所选服务官方文档为准。不在代码或提交中保存密钥,不上传个人敏感信息。

需要比较无检索与有检索、或基础模型与改进模型,固定同一评价集,保存模型标识、参数、时间及实际输出。问答检查正确性、证据支持和无答案情形,不能只凭语言流畅或截图评价。付费、模型更大、界面更复杂本身不加分。无法取得资源时改用CPU基础题,不影响可获得的成绩。

提交与分工

基础任务每人独立提交Python单文件;自选项目可最多4人协作,设组长一人,但每人必须分别提交本人的报告、代码及支撑材料;写明每位成员的具体工作、成果和证据,不按代码行数或自报比例计分。综合训练与课程项目不得同题,否则只记一门成绩。

截止日期为本年12月31日。报告交纸版与电子PDF;代码可为py或保留输出的ipynb。文件主名为ml学年_专业班级_提交者姓名,例如ml26_计科1班_张三.pdf。专业班级为计科或软件1—4班。附代码目录、依赖、运行命令、原始日志、预测及指标;数据过大时说明来源和取得步骤,不重复打包模型缓存。Notebook重启内核后按顺序运行并保存;中文PDF可从HTML打印,检查乱码。

报告按机器学习综合训练-报告模板.docx填写并导出PDF。每项证据保存一次并在正文引用,代码通过检查不等于实验与报告完成。

评价与诚信

评分规则和计算方法见《机器学习综合训练-任务书及评分标准》“评分标准”章。分组、本人贡献及80分制自评填写在本人报告的“成员贡献”小节。引用教程、开源代码与AI辅助时说明复用范围及独立工作,严禁抄袭、造假。

评分标准

成绩组成

个人总分=个人基础平台分×0.2+小组共同项得分(0—75)+个人贡献得分(0—5)。小组最多4人,含组长1人。

例如平台85分、共同项68分、贡献4分,个人总分为89分。该示例仅说明教师的计算方法,不要求学生取得基础平台分。

基础任务:20分

外部平台10例,每例10分,满分100分,乘0.2折算。距离2例、最近邻预测3例、正确数统计2例、完整流程3例。每例全部正确得分,无部分分;超时、异常退出或额外输出均失败。本地公开检查不代替正式成绩。

小组共同项:75分

合理实验取得负结果不因此扣分,不以模型大小、付费、界面或竞赛状态加分。必须采用机器学习方法,并能说明实际使用过程。严禁抄袭或造假,按课程诚信规定处理。

个人贡献:5分

教师根据每人的具体工作、成果、可核验证据及必要核验评价,不以代码行数或自报百分比计分。

规则使用与自评位置

本章用于说明评分规则和计算方法,不作为填写材料。学生在本人报告的“成员贡献”小节记录分组情况、本人实际贡献,并仅对共同项75分与本人贡献5分逐项自评,说明理由与证据,合计满分80分,不计算百分制总分。无需修改或提交本评分标准。

每人单独提交不改变共同项计分方式:75分按小组成果评价,基础任务20分和个人贡献5分分别评价。教师结合实际成果及必要核验给出最终成绩,自评分不等于最终成绩。

附录

项目共同知识与排错

所有命令在ml_application根目录执行。基础题无需安装下述依赖;自选项目建议独立Python 3.11环境。先运行python –version,再执行python -m pip install -r requirements.txt;PyTorch另装requirements-torch.txt,预训练文本检索另装requirements-retrieval.txt。安装CPU版本即可,具体系统安装方法参考PyTorch官网。不要为了基础题安装这些库。

从一条样本理解数据

样本是一条记录。特征X是预测时已经知道的信息,标签y是希望预测的答案。表格X形状(n,d)表示n条记录、每条d个特征;标签通常是(n,)。例如面积和房龄可以作特征,售价是标签;不能把答案再放进特征。分类预测有限类别,回归预测数字,检索返回候选条目排序。

训练集用于学习参数;验证集用于选择方法、超参数;测试集只在方案固定后最终评估。标准化、填补、词表也会学习统计量,因此只能在训练集fit,再对其余数据transform。Pipeline串联这些步骤。重复记录跨集合会夸大效果;按重复组划分或先去重。时间题按日期先后,不能随机打乱。

标准化对每列减训练均值,再除训练标准差。数值缺失可用训练中位数填补。独热编码将类别变为0/1位置,陌生类别要能处理。对单个未见类别崩溃不是有效的预测流程。

评价与改动

多数类预测或训练目标均值是简单参照。先让一个学习器运行,再每次只改少量条件,写出“为什么可能有帮助”。不能为了好看的分数换测试集。准确率=正确数/总数;混淆矩阵行是真实类别、列是预测。精确率看预测正类是否可靠,召回率看真实正类是否找全,F1是二者调和平均,零分母记0。MAE是绝对误差平均,RMSE是平方误差平均后开根。比较必须使用相同数据和同一种指标。

PyTorch:张量是可计算的多维数组。批次是一次参与更新的一小组样本。网络输出与标签计算损失;zero_grad清除旧梯度,backward计算当前梯度,step更新参数。分类CrossEntropyLoss接收logits,不要先做softmax;验证时eval并no_grad,防止推理行为错误或意外累积梯度。CPU小模型够用,不要求CUDA。

记录与解释

将命令输出保存一次,如 以下命令。错误分析不是只贴数字:回看输入与正确答案,说明哪些条件使方法失败,有何证据,结论可推广到哪里。没有错误时如实写明,不编造样例。记录python版本与python -m pip freeze,给出从发布包根目录开始的命令。

python intro.py > runs_intro.txt

–stage data只做读取与划分,未补全模型也可运行;baseline只运行第一个候选;compare只看验证;final才评估测试。现代AI题有各自阶段名,按该题说明。代码检查通过不等于实验分析与报告已完成。

排错

ModuleNotFoundError:检查运行python和python -m pip属于同一环境。FileNotFoundError:检查工作目录与原始文件名,下载压缩包需先解压。形状错误:打印X、y和预测的shape,不要随意reshape掩盖对应关系。下载失败:保留错误信息,先做无需外部下载的digits;不关闭证书检查、不在代码中放账号密钥。

自主选题如何开始

先用一段话写清实际使用者、输入、期望输出、数据来源和评价方法,填写到报告第一部分。参考题用于学习实施方法,不是题库限制。自己的目录、模型和运行方式均可,只需说明如何从发布根目录运行。

“可复现”指另一位读者按你的依赖版本、数据取得步骤和命令,能重新完成实验并取得可比较的结果。“错误分析”应包含一条输入、正确结果、模型输出、可能原因和证据;例如短信被误判时,查看具体措辞与相似训练文本,而不是只写“模型不准确”。

如何保存结果证据

日志是程序运行时打印的信息,可用 以下命令 保存。命令应写在终端,不写入Python文件;输出文件会在当前工作目录生成。>会覆盖同名文件,需保留对照时使用不同文件名。自拟项目替换成自己的运行命令。报告引用文件名及其中的关键数值,不必反复截图。

python intro.py > runs_intro.txt 2>&1

baseline表示初始模型阶段,只需返回一个候选;compare表示比较阶段,final表示最终评价阶段,这两阶段需要初始模型与两个改动。参数如–output后面填写保存目录。参考工具的结构检查不评价自拟项目是否符合统一接口,自拟项目自行说明检查方法。

wine参考项目操作

全部命令在发布包 ml_application/ 根目录执行,不进入本题子目录。先读本任务书“项目共同知识与排错”一节。

数据与问题

官方数据来源。所需文件:winequality-red.csv。外部数据放在projects/wine/data/,保留来源、许可与原文件。下载失败先完成digits题,不使用未核实镜像。

quality是目标,11个理化特征是输入。CSV以分号分列。框架按特征去重后划分。数字越接近表示预测越接近主观评分,不能当作客观品质证明。

第一阶段:读取和划分

运行以下命令,此阶段无需修改算法:

python projects/wine/project.py --stage data
python check_stage.py --stage data --path runs/wine

判定:前五条记录能解释,X与y样本数相同,三组样本均非空、标识互不重叠。除时间题外默认种子42、60/20/20划分;分类按标签比例分层。框架已提供读取、划分、预处理和保存,不要求重复编写这些功能,但报告必须解释如何避免泄漏。

第二阶段:完成一个学习器

只修改projects/wine/project.py中的candidates(route)。学习器是尚未fit的模型对象,框架负责调用fit与predict。选择sklearn路线时先导入:

from sklearn.linear_model import Ridge

初始学习器可用 Ridge(alpha=1)。baseline阶段可先返回一组(名称,模型),让初始模型独立运行。compare和final阶段再返回三组 (名称字符串, 未拟合的学习器),第一组是初始模型,后两组对应改动。不要在函数中读取测试集。

python projects/wine/project.py --stage baseline --route sklearn

先观察简单规则与第一个学习器的验证指标,确认程序确实学习,而不是只输出常数。MAE和RMSE,均越小越好。日志中的simple_rule只作参照,不是完成学习模型的替代。

第三阶段:两个有目的的改动

Ridge的alpha为正则强度,较大时限制系数幅度;比较0.1、1、10。在报告中先写预期,再运行比较;保持划分和指标不变。不同结果都应保留。

python projects/wine/project.py --stage compare --route sklearn

PyTorch路线改用 --route torch:阅读torch_estimator.py,说明输入维度、隐藏层、输出维度、损失与更新。候选对象使用SmallNetwork(classification=False)的接口;先以16、32、64个隐藏单元比较。学习过程中应在本题文件内定义并解释自己的网络或训练改动,不能只改名称。训练输入为float32,分类标签是整数;回归目标由训练集均值和标准差缩放,预测后还原。

第四阶段:最终测试与报告

先根据验证比较决定方案,再运行一次最终测试;默认框架按正文主指标选择验证最优者,平局保留先出现者。

python projects/wine/project.py --stage final --route sklearn
python check_stage.py --stage results --path runs/wine

若选PyTorch,两条运行命令统一换成torch。runs/wine/metrics.json记录比较与最终测试;predictions.npz保存真实值、预测和样本标识,examples.csv给出待人工分析样例。程序不会自动判断错误原因:自行回查原输入,至少解释三个错误,不足则解释全部并补充正确例。房价题另生成submission.csv;提交后保留实际竞赛得分及提交标识,不伪造线上结果。

本题仅供参考;可以借鉴流程后自行提出其他问题。

在报告填写输入输出、原始数据量与处理后数量、运行环境、候选配置、真实指标、失败条件和个人贡献。分阶段运行会重新训练同一固定种子的模型,并覆盖该题同名结果;把需要对照的版本保存到不同–output目录。禁止从测试结果反向调参。

digits参考项目操作

全部命令在发布包 ml_application/ 根目录执行,不进入本题子目录。先读本任务书“项目共同知识与排错”一节。

数据与问题

官方数据来源。所需文件:无需外部文件。外部数据放在projects/digits/data/,保留来源、许可与原文件。下载失败先完成digits题,不使用未核实镜像。

load_digits内置1797张8×8灰度图,每行64个像素值,标签0至9。先画一张图再看其64维展开向量;这不是MNIST。

第一阶段:读取和划分

运行以下命令,此阶段无需修改算法:

python projects/digits/project.py --stage data
python check_stage.py --stage data --path runs/digits

判定:前五条记录能解释,X与y样本数相同,三组样本均非空、标识互不重叠。除时间题外默认种子42、60/20/20划分;分类按标签比例分层。框架已提供读取、划分、预处理和保存,不要求重复编写这些功能,但报告必须解释如何避免泄漏。

第二阶段:完成一个学习器

只修改projects/digits/project.py中的candidates(route)。学习器是尚未fit的模型对象,框架负责调用fit与predict。选择sklearn路线时先导入:

from sklearn.linear_model import LogisticRegression

初始学习器可用 LogisticRegression(C=1, max_iter=1000)。baseline阶段可先返回一组(名称,模型),让初始模型独立运行。compare和final阶段再返回三组 (名称字符串, 未拟合的学习器),第一组是初始模型,后两组对应改动。不要在函数中读取测试集。

python projects/digits/project.py --stage baseline --route sklearn

先观察简单规则与第一个学习器的验证指标,确认程序确实学习,而不是只输出常数。准确率和混淆矩阵;矩阵行是真实类别,列是预测类别。日志中的simple_rule只作参照,不是完成学习模型的替代。

第三阶段:两个有目的的改动

C越小正则约束越强;比较0.1、1、10。使用同一划分,不能只提交intro.py。在报告中先写预期,再运行比较;保持划分和指标不变。不同结果都应保留。

python projects/digits/project.py --stage compare --route sklearn

PyTorch路线改用 --route torch:阅读torch_estimator.py,说明输入维度、隐藏层、输出维度、损失与更新。候选对象使用SmallNetwork(classification=True)的接口;先以16、32、64个隐藏单元比较。学习过程中应在本题文件内定义并解释自己的网络或训练改动,不能只改名称。训练输入为float32,分类标签是整数;回归目标由训练集均值和标准差缩放,预测后还原。

第四阶段:最终测试与报告

先根据验证比较决定方案,再运行一次最终测试;默认框架按正文主指标选择验证最优者,平局保留先出现者。

python projects/digits/project.py --stage final --route sklearn
python check_stage.py --stage results --path runs/digits

若选PyTorch,两条运行命令统一换成torch。runs/digits/metrics.json记录比较与最终测试;predictions.npz保存真实值、预测和样本标识,examples.csv给出待人工分析样例。程序不会自动判断错误原因:自行回查原输入,至少解释三个错误,不足则解释全部并补充正确例。房价题另生成submission.csv;提交后保留实际竞赛得分及提交标识,不伪造线上结果。

本题仅供参考;可以借鉴流程后自行提出其他问题。

在报告填写输入输出、原始数据量与处理后数量、运行环境、候选配置、真实指标、失败条件和个人贡献。分阶段运行会重新训练同一固定种子的模型,并覆盖该题同名结果;把需要对照的版本保存到不同–output目录。禁止从测试结果反向调参。

spam参考项目操作

全部命令在发布包 ml_application/ 根目录执行,不进入本题子目录。先读本任务书“项目共同知识与排错”一节。

数据与问题

官方数据来源。所需文件:SMSSpamCollection。外部数据放在projects/spam/data/,保留来源、许可与原文件。下载失败先完成digits题,不使用未核实镜像。

解压下载包,原文件无表头,每行标签和文本以制表符分隔。spam转1,ham转0;框架按文本去重,再分层划分。TF-IDF把文本表示成词权重向量:频繁出现在当前文本、较少出现在其他文本的词通常权重较大。词表仅在训练集建立,上限2000。

第一阶段:读取和划分

运行以下命令,此阶段无需修改算法:

python projects/spam/project.py --stage data
python check_stage.py --stage data --path runs/spam

判定:前五条记录能解释,X与y样本数相同,三组样本均非空、标识互不重叠。除时间题外默认种子42、60/20/20划分;分类按标签比例分层。框架已提供读取、划分、预处理和保存,不要求重复编写这些功能,但报告必须解释如何避免泄漏。

第二阶段:完成一个学习器

只修改projects/spam/project.py中的candidates(route)。学习器是尚未fit的模型对象,框架负责调用fit与predict。选择sklearn路线时先导入:

from sklearn.naive_bayes import MultinomialNB

初始学习器可用 MultinomialNB(alpha=1)。baseline阶段可先返回一组(名称,模型),让初始模型独立运行。compare和final阶段再返回三组 (名称字符串, 未拟合的学习器),第一组是初始模型,后两组对应改动。不要在函数中读取测试集。

python projects/spam/project.py --stage baseline --route sklearn

先观察简单规则与第一个学习器的验证指标,确认程序确实学习,而不是只输出常数。以spam为正类的F1,辅以准确率、混淆矩阵。日志中的simple_rule只作参照,不是完成学习模型的替代。

第三阶段:两个有目的的改动

alpha是平滑强度,防止未出现词导致零概率;比较0.1、1、10。不要用准确率掩盖漏检spam。在报告中先写预期,再运行比较;保持划分和指标不变。不同结果都应保留。

python projects/spam/project.py --stage compare --route sklearn

PyTorch路线改用 --route torch:阅读torch_estimator.py,说明输入维度、隐藏层、输出维度、损失与更新。候选对象使用SmallNetwork(classification=True)的接口;先以16、32、64个隐藏单元比较。学习过程中应在本题文件内定义并解释自己的网络或训练改动,不能只改名称。训练输入为float32,分类标签是整数;回归目标由训练集均值和标准差缩放,预测后还原。短信稀疏矩阵转稠密前限制词表,不能对任意大词表直接展开。

第四阶段:最终测试与报告

先根据验证比较决定方案,再运行一次最终测试;默认框架按正文主指标选择验证最优者,平局保留先出现者。

python projects/spam/project.py --stage final --route sklearn
python check_stage.py --stage results --path runs/spam

若选PyTorch,两条运行命令统一换成torch。runs/spam/metrics.json记录比较与最终测试;predictions.npz保存真实值、预测和样本标识,examples.csv给出待人工分析样例。程序不会自动判断错误原因:自行回查原输入,至少解释三个错误,不足则解释全部并补充正确例。房价题另生成submission.csv;提交后保留实际竞赛得分及提交标识,不伪造线上结果。

本题仅供参考;可以借鉴流程后自行提出其他问题。

在报告填写输入输出、原始数据量与处理后数量、运行环境、候选配置、真实指标、失败条件和个人贡献。分阶段运行会重新训练同一固定种子的模型,并覆盖该题同名结果;把需要对照的版本保存到不同–output目录。禁止从测试结果反向调参。

bike参考项目操作

全部命令在发布包 ml_application/ 根目录执行,不进入本题子目录。先读本任务书“项目共同知识与排错”一节。

数据与问题

官方数据来源。所需文件:day.csv。外部数据放在projects/bike/data/,保留来源、许可与原文件。下载失败先完成digits题,不使用未核实镜像。

使用日数据day.csv;cnt是目标。按日期升序,前60%训练、中间20%验证、后20%测试;删除instant、dteday、casual、registered,后两项相加就是cnt,不能用作特征。天气及日期类别分别编码。这里使用当天实际天气,是条件需求估计而不是事先天气未知的预测。

第一阶段:读取和划分

运行以下命令,此阶段无需修改算法:

python projects/bike/project.py --stage data
python check_stage.py --stage data --path runs/bike

判定:前五条记录能解释,X与y样本数相同,三组样本均非空、标识互不重叠。除时间题外默认种子42、60/20/20划分;分类按标签比例分层。框架已提供读取、划分、预处理和保存,不要求重复编写这些功能,但报告必须解释如何避免泄漏。

第二阶段:完成一个学习器

只修改projects/bike/project.py中的candidates(route)。学习器是尚未fit的模型对象,框架负责调用fit与predict。选择sklearn路线时先导入:

from sklearn.linear_model import Ridge

初始学习器可用 Ridge(alpha=1)。baseline阶段可先返回一组(名称,模型),让初始模型独立运行。compare和final阶段再返回三组 (名称字符串, 未拟合的学习器),第一组是初始模型,后两组对应改动。不要在函数中读取测试集。

python projects/bike/project.py --stage baseline --route sklearn

先观察简单规则与第一个学习器的验证指标,确认程序确实学习,而不是只输出常数。MAE和RMSE;误差单位为每日租车次数。日志中的simple_rule只作参照,不是完成学习模型的替代。

第三阶段:两个有目的的改动

比较alpha为0.1、1、10。可另比较去掉天气特征的影响,需先写出假设。在报告中先写预期,再运行比较;保持划分和指标不变。不同结果都应保留。

python projects/bike/project.py --stage compare --route sklearn

PyTorch路线改用 --route torch:阅读torch_estimator.py,说明输入维度、隐藏层、输出维度、损失与更新。候选对象使用SmallNetwork(classification=False)的接口;先以16、32、64个隐藏单元比较。学习过程中应在本题文件内定义并解释自己的网络或训练改动,不能只改名称。训练输入为float32,分类标签是整数;回归目标由训练集均值和标准差缩放,预测后还原。

第四阶段:最终测试与报告

先根据验证比较决定方案,再运行一次最终测试;默认框架按正文主指标选择验证最优者,平局保留先出现者。

python projects/bike/project.py --stage final --route sklearn
python check_stage.py --stage results --path runs/bike

若选PyTorch,两条运行命令统一换成torch。runs/bike/metrics.json记录比较与最终测试;predictions.npz保存真实值、预测和样本标识,examples.csv给出待人工分析样例。程序不会自动判断错误原因:自行回查原输入,至少解释三个错误,不足则解释全部并补充正确例。房价题另生成submission.csv;提交后保留实际竞赛得分及提交标识,不伪造线上结果。

本题仅供参考;可以借鉴流程后自行提出其他问题。

在报告填写输入输出、原始数据量与处理后数量、运行环境、候选配置、真实指标、失败条件和个人贡献。分阶段运行会重新训练同一固定种子的模型,并覆盖该题同名结果;把需要对照的版本保存到不同–output目录。禁止从测试结果反向调参。

house参考项目操作

全部命令在发布包 ml_application/ 根目录执行,不进入本题子目录。先读本任务书“项目共同知识与排错”一节。

数据与问题

官方数据来源。所需文件:train.csv、test.csv、sample_submission.csv。外部数据放在projects/house/data/,保留来源、许可与原文件。下载失败先完成digits题,不使用未核实镜像。

注册并接受竞赛规则后,从Data下载三份CSV。只从有标签train.csv划分本地训练、验证、测试;Id不是特征。框架将SalePrice取自然对数,比较时使用对数尺度,输出线上预测前用exp还原。数值列按训练中位数填补,类别列用missing填补并独热编码;独热编码为每类建立一个0/1位置,未知类别忽略。

第一阶段:读取和划分

运行以下命令,此阶段无需修改算法:

python projects/house/project.py --stage data
python check_stage.py --stage data --path runs/house

判定:前五条记录能解释,X与y样本数相同,三组样本均非空、标识互不重叠。除时间题外默认种子42、60/20/20划分;分类按标签比例分层。框架已提供读取、划分、预处理和保存,不要求重复编写这些功能,但报告必须解释如何避免泄漏。

第二阶段:完成一个学习器

只修改projects/house/project.py中的candidates(route)。学习器是尚未fit的模型对象,框架负责调用fit与predict。选择sklearn路线时先导入:

from sklearn.linear_model import Ridge

初始学习器可用 Ridge(alpha=1)。baseline阶段可先返回一组(名称,模型),让初始模型独立运行。compare和final阶段再返回三组 (名称字符串, 未拟合的学习器),第一组是初始模型,后两组对应改动。不要在函数中读取测试集。

python projects/house/project.py --stage baseline --route sklearn

先观察简单规则与第一个学习器的验证指标,确认程序确实学习,而不是只输出常数。对数RMSE:log预测与log真实值的均方根误差;不与原价格MAE混淆。日志中的simple_rule只作参照,不是完成学习模型的替代。

第三阶段:两个有目的的改动

比较alpha为0.1、1、10;线上榜单不能用于反复替代验证集调参。在报告中先写预期,再运行比较;保持划分和指标不变。不同结果都应保留。

python projects/house/project.py --stage compare --route sklearn

PyTorch路线改用 --route torch:阅读torch_estimator.py,说明输入维度、隐藏层、输出维度、损失与更新。候选对象使用SmallNetwork(classification=False)的接口;先以16、32、64个隐藏单元比较。学习过程中应在本题文件内定义并解释自己的网络或训练改动,不能只改名称。训练输入为float32,分类标签是整数;回归目标由训练集均值和标准差缩放,预测后还原。

第四阶段:最终测试与报告

先根据验证比较决定方案,再运行一次最终测试;默认框架按正文主指标选择验证最优者,平局保留先出现者。

python projects/house/project.py --stage final --route sklearn
python check_stage.py --stage results --path runs/house

若选PyTorch,两条运行命令统一换成torch。runs/house/metrics.json记录比较与最终测试;predictions.npz保存真实值、预测和样本标识,examples.csv给出待人工分析样例。程序不会自动判断错误原因:自行回查原输入,至少解释三个错误,不足则解释全部并补充正确例。房价题另生成submission.csv;提交后保留实际竞赛得分及提交标识,不伪造线上结果。

本题仅供参考;可以借鉴流程后自行提出其他问题。

在报告填写输入输出、原始数据量与处理后数量、运行环境、候选配置、真实指标、失败条件和个人贡献。分阶段运行会重新训练同一固定种子的模型,并覆盖该题同名结果;把需要对照的版本保存到不同–output目录。禁止从测试结果反向调参。

transfer参考项目操作

从ml_application根目录执行,先读本任务书“项目共同知识与排错”一节。安装依赖:

python -m pip install -r requirements-torch.txt

从PyTorch官方教程取得hymenoptera_data,解压至projects/transfer/data/hymenoptera_data,保留train/ants、train/bees、val/ants、val/bees。源图许可与来源须保留;未确认再分发授权时只分发获取说明,不把图片打包。首次运行还会下载ResNet18权重,需能访问官方模型源。

预训练模型已在其他图像上学习表示。本题冻结骨干,替换最后分类层为恒等映射,得到每图512维特征;再训练两类分类头。输入先使用该权重配套transforms。冻结参数不等于eval:BatchNorm等层在训练模式仍会改变状态。提供的特征提取使用eval与no_grad。原train按类别比例留25%验证,原val只作最终测试。

  1. 运行以下命令,核对两类名称与512维特征;再运行以下命令。本步不要求新增实现。

    python projects/transfer/project.py --stage data
    python check_stage.py --stage data --path runs/transfer
  2. 在本题project.py补全candidates(route),返回三个(名称,未拟合分类器)。torch路线使用torch_estimator.SmallNetwork接口,以8、16、32隐藏单元作为起步;sklearn路线用LogisticRegression并比较C。阅读并解释训练循环,至少完成一个自己的模型或训练改动。

  3. 运行以下命令。记录多数类参照和三个分类头的验证准确率。不要微调骨干,否则需要重新设计训练与验证隔离。

    python projects/transfer/project.py --stage compare --route torch
  4. 固定候选后运行以下命令,再运行结果检查。程序按验证准确率选头,测试输出保存runs/transfer/metrics.json与predictions.npz。若使用sklearn,两步统一换路线参数。

    python projects/transfer/project.py --stage final --route torch

分析至少三个误判:从原val按ImageFolder字典序找到对应图像,说明背景、姿态或尺寸等条件;没有足够错误就分析全部并补充正确例。记录实际权重名称、环境版本、时间及下载问题。进阶可比较冻结特征与少量微调,但不能用测试集选择策略。

retrieval参考项目操作

从ml_application根目录执行,先读本任务书“项目共同知识与排错”一节。安装依赖:

python -m pip install -r requirements-retrieval.txt

projects/retrieval/data提供30条人工教学FAQ与60条改写查询。faq.json每条含id、question、answer;queries.json含question、relevant_id、split。dev用于改进,test用于最终评价;按FAQ标识分离查询,但统一候选库有意保留全部FAQ。它是教学语料,不是真实质量基准。正式项目需额外编写独立查询并说明标注依据。

  1. 运行以下命令,应显示30条FAQ、60条查询;框架检查标识与划分,无需编写模型。

    python projects/retrieval/project.py --stage data
  2. 补全rank_questions(corpus, queries, method),返回每条查询对应的全部FAQ标识列表,按相似度降序。函数收到查询文本,不收到正确标注。tfidf分支使用TfidfVectorizer(analyzer=‘char’, ngram_range=(1,2));仅在候选FAQ问题fit,查询transform,再点积得到相似度。不要用答案字段或relevant_id直接排序。

  3. embedding分支加载sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2,device=‘cpu’,encode(…, normalize_embeddings=True)后点积。归一化使向量长度为1,点积等于余弦相似度。模型卡见官方页面。首次下载所需网络、磁盘及时间应实际记录。

  4. hybrid分支组合两种相似度,如各占一半;先在开发查询验证其假设。排序平局按FAQ原顺序。运行以下命令,在runs/retrieval/dev.json记录三个方案的指标和排序。

    python projects/retrieval/project.py --stage compare
  5. 固定方案后运行以下命令,结果保存test.json。Recall@3为前三项命中查询比例;MRR为首个相关项排名倒数的平均。排名从1开始,没有相关项记0。报告以开发选定的方法作为最终方案,其余测试结果仅作预先声明的对照,不能再据此选择。

    python projects/retrieval/project.py --stage final

至少分析三条失败查询,不足则全部:区分同义词、措辞歧义和标注问题。冻结文本编码器也是机器学习方法,但不能写成自己训练了大模型。CPU可完成,禁止为了本题强制购买API。