2025年1月，还有一件事对徐辰影响很大。

这个月，发生了一件科技界的大事。

各大国内主流新闻app的头版头条都在推送一条消息：

标题，充满了科技感与冲击力。

“中国ai的‘gpt-4时刻’？deepseek-r1横空出世，性能全面超越，并宣布开源！”

“deepseek-r1？”徐辰的眉毛，微微一挑。

在过去的几个月里，以chatgpt为代表的大语模型（llm），如同平地惊雷，在全球范围内，掀起了一场前所未有的科技革命。

大语模型……ai……

徐辰的心中，泛起了一丝好奇。

他虽然主攻的是纯粹数学，但对于这些代表着人类科技最前沿的“时髦”玩意儿，也并非一无所知。

他打开电脑，搜索到了deepseek-r1的开源论文。

他饶有兴致地，开始阅读起来。

论文的前半部分，是关于模型训练所使用的数学理论。

“……我们采用了改进的‘注意力机制’（attentionmechanism），其核心，是将输入序列中的每一个词向量，都映射到‘查询（query）’、‘键（key）’、‘值（value）’这三个向量空间中。通过计算query与所有key的点积相似度，并进行softmax归一化，来得到每个value的权重……”

嗯，有点意思。徐辰的眼中，闪过一丝了然。

这个思路，本质上是线性代数中‘投影’与‘加权平均’思想的一种精妙应用。它通过点积来衡量向量间的‘相关性’，再用softmax函数将这种相关性转化为概率权重，从而让模型能够动态地聚焦于输入序列中最关键的部分。

“……在优化器（optimizer）的选择上，我们采用了adam算法，它结合了‘动量法’（momentum）和‘rmsprop’的优点，能够自适应地，为不同参数，调整学习率……”

原来如此。徐辰点了点头。

这可以看作是常微分方程中‘梯度下降法’的一种高级变体。它引入了‘动量’这个物理概念，模拟一个在损失函数曲面上滚动的小球，利用惯性冲过平坦区域和局部极小值点，从而加速收敛。而自适应学习率，则相当于为这个小球，在不同陡峭程度的路面上，配备了智能的刹车和油门系统。

论文中那些在ai工程师看来，极其高深复杂的数学原理，在徐辰这个lv.2级别的“数学家”眼中，却如同庖丁解牛，每一个结构，每一处关节，都清晰可见。

他只花了不到半个小时，就将论文中所有的数学部分，全部吃透，甚至还能举一反三地，思考出几种可能的改进方向。

整个大语模型，从数学上看，可以被视为一个极其高维的、非线性的函数逼近器。它的训练过程，就是在数十亿甚至数千亿个参数构成的空间中，通过梯度下降，寻找一个能最小化‘损失函数’的最优解。而‘注意力机制’，则为这个庞大的函数，提供了高效的‘剪枝’策略，使其能够专注于处理长距离的依赖关系。

然而，当他看到论文的后半部分，关于“神经网络架构”和“模型训练”的内容时，他的眉头，却渐渐地，锁了起来。

“transformer架构”、“多头注意力”、“残差连接”、“层归一化”……

这些属于计算机科学和人工智能领域的专业术语，对他而，就如同一个个陌生的路标，指向一片他从未踏足过的未知领域。

如果不了解神经网络为什么能拟合任何函数（万能逼近定理），对后续的深层神经网络乃至于transformer架构就更加不知道具体的工作机制了。

对于ai，确实还存在着巨大的‘盲区’。

他没有气馁，反而燃起了一股强烈的求知欲。

他打开电脑，开始在网上，疯狂地，搜索着关于“大语模型”的基础知识。

从最基础的“感知机”模型，到“深度神经网络”，再到“循环神经网络（rnn）”和“长短期记忆网络（lstm）”，最后，才是当今大模型的核心――“transformer”。

就在他将一篇关于“transformer”核心架构的经典论文――《attentionisallyouneed》，看到一半时。

他脑海中，那冰冷的系统提示音，毫无征兆地，响了起来！

叮！检测到宿主正在学习‘人工神经网络’相关知识，认知边界拓展……

信息学经验值+2！

物理学经验值+1！

生化学经验值+1！

“嗯？！”

徐辰的动作，猛地一顿！

他有些难以置信地，调出了自己的系统面板。

信息学经验值+2，很好理解，因为ai就是通过计算机来实现的，计算机相关的知识自然属于信息学的范畴。

但是，在“物理学”和“生化学”那两条几乎还是空白的经验条后面，都出现了一个小小的“+1”！

什么情况？！

我明明是在学计算机和ai，怎么会加了物理和生化的经验？！

系统，你是不是出bug了？

他先是一愣，随即，陷入了沉思。

生化学经验+1，这个……倒还勉强能够理解。

毕竟，‘神经网络’这个词，本身就是对人脑神经元结构的仿生学模拟。我学习它的工作原理，就等于，是在从一个抽象的、信息学的角度，去间接地，理解生物大脑的构造。这算是了解生物构造的一部分，倒也是说得通。