黄胜泽研究与实践
← 返回项目实践

MLP AutoResearch

让 AI 做算法研究,从一个 MLP 开始

让 AI 真正修改、训练和比较一个熟悉的小模型,看清自动实验怎样发生。

从一个例子开始

研究者想到“把网络加宽一点”,下一步还要改代码、训练、读结果,再决定保留还是放弃。2026 年 3 月跟进 Karpathy AutoResearch 时,我想把这一整段工作放到一个熟悉的 MLP 上。

一次算法改进,至少要经历提出想法、执行实验和根据结果作决定。

一步步想清楚

  1. 01

    建议本身还不是实验

    “换一个优化器”只有真的被写进代码并训练,才会产生可以检查的结果。

  2. 02

    候选需要在明确条件下比较

    固定数据、评估函数和训练轮数,才能较清楚地观察结构与配置修改的效果。固定轮数也不代表不同模型具有相同计算成本,因此还记录参数量和耗时。

  3. 03

    研究会沿着历史继续推进

    保留改进、回滚退化并记录原因,让下一轮能从已有结果出发,而不是重复提出相同想法。

先记住这条线

01

提出并实现想法

修改网络与训练配置

02

运行同轮数实验

记录评分、规模和耗时

03

选择并留下历史

保留或回滚,继续下一次

我参与的工作,具体怎样落地

  1. 把基础设施与可改代码分开

    沿用 AutoResearch 的思路,将数据、评估和训练约束与候选模型代码分开。

  2. 开放模型与训练配置

    让 AI 修改层数、宽度、激活函数、优化器和学习率调度,在 MNIST 上每轮训练 20 个 epoch。

  3. 根据结果保留或回滚

    记录修改说明、分数、参数量与异常,形成可追踪的迭代过程。

回到具体情境

一次修改将隐藏层从 256 加宽到 512,再与前一版比较。智能体不只提出“试试更宽”,还要真正改代码、完成同轮数训练并决定是否采用,留下每次改动和结果。

做出了什么,结果意味着什么

仓库记录显示搜索逐步转向较浅、较宽的网络,结合 GELU、AdamW 和余弦学习率调度取得更好的搜索分数。结果说明自动科研闭环能在简单算法上落地;已有评估分数参与版本选择,不能直接视为独立泛化测试。

仓库的搜索记录显示,该任务和训练轮数下,较浅较宽的网络配合优化器与调度得到更好的分数。这是一次可读懂的自动实验实践;因为同一评估分数参与了选版,它不应被当成独立泛化测试。

我怎样理解这件事

2026 年 3 月跟进 AutoResearch 时,我想先在一个熟悉的小模型上看清自动研究。MLP 的结构、优化器和训练过程都容易理解,也方便追踪每次修改到底改变了什么。

这个项目让我看到,自动科研需要的不只是提出想法,还要执行实验、读结果、选择版本和保留教训。搜索分数也不能替代最终独立测试,这一点在简单项目里同样存在。

想再往里看一点?

几个名字,放回上下文理解
MLP
多层感知机,一类由多层全连接结构组成的神经网络。
MNIST
手写数字识别数据集;这里用于运行简单、易理解的模型实验。
回滚
舍弃没有改善的候选,回到此前保留的版本。
完整方法图与技术路径
MLP AutoResearch 完整方法图
固定实验条件后,沿图看 AI 怎样提出想法、修改代码、训练和评分,再根据结果保留或回滚,形成下一轮实验。

固定 MNIST 数据、评估函数和每轮 20 个 epoch,限制智能体修改模型与训练代码。智能体根据历史提出假设,调整深宽、激活函数、优化器或学习率调度,运行实验,改进则保留,退化则回滚,同时记录参数量、分数与修改说明。

这项实践和原创 AutoResearch 有什么关系?

它是在 2026 年 3 月早期跟进 Karpathy AutoResearch 思想的迁移项目,把研究对象换成熟悉的小模型,并保留自动实验和版本选择流程。

继续读

项目仓库 ↗
另一项相关的工作

模型不换,怎样让它更会做事?

同一个模型,看到什么、记住什么、动作怎样执行,都会影响它能否完成任务。