分享
从 0 构建大模型知识体系(1):啥是模型?
输入“/”快速插入内容
从 0 构建大模型知识体系(1):啥是模型?
用户2816
用户2816
2025年3月29日修改
💡
按照惯例,结论先行
这篇文章要讨论啥?
以大模型为代表的 AI 技术在近两年盛况空前。我们认为在这样的时代背景下有必要从最基础的概念开始学习,逐步建立一个相对完善的知识体系以便理解后续的新概念、新技术、新产品。因此写这样一篇文章来讨论大模型知识体系中最基础的几个概念,为此系列后续的文章做铺垫。
咋讨论这个问题?
对于构建大模型知识体系这件事,我觉得需要先搞明白这几个问题:
①不管大模型还是小模型,能不能先说清楚什么是模型?
②模型具体是怎么用数据来训练的,以至于完成训练后的模型可以用来解决实际问题?
我会以一个预测奶茶销量的实际问题作为切入口,设计并手动训练一个最简单的模型,并在这过程中逐步讨论上述两个核心问题。
这几个问题,核心结论是什么?
所谓模型,本质就是一个数学公式,或者更准确的说是一个函数。训练模型就是用数据不断地通过反向传播算法更新模型参数以拟合已有数据的过程。而训练出的模型也正因为拟合了已有的数据,所以我们认为它掌握了已有数据的统计规律,进而才可以用此模型(此规律)对未知的情况做预测。
“和 AI 谈恋爱就像约会 100 次:它把你说过的每句话都记成小抄,最后变成懂你的恋爱脑”
——题记
手搓一个奶茶销量预测算法
假设你在一家奶茶店上班,近期在售的 6 款奶茶的售价和销量如下所示
有一天,老板问你,此时如果新推出一款奶茶,在不考虑其他因素的情况下若定价为 35,它的销量应该为多少?换句话说,如果售价定为 35,你预测销量为多少?
靠,35 的售价完全不在已有数据的范畴之内啊,这可咋整?
我们当然不想凭空预测,而是要根据现有的数据做出最符合当前数据规律的预测,不然老板多问一个 why 咱就哑火了。先用数据画个图看看,不难发现,售价越高,销量一般越低。
试想,如果有一个数学公式可以直接告诉我们不同的售价对应的具体销量为多少,那预测售价为 35 时的销量还不是探囊取物,手到擒来,手拿把掐?
可这个数学公式要怎么找呢?仔细观察上图,把售价视作自变量,销量视作因变量,因变量随自变量的增加而降低,这完全可以用我们初中二年级就学过的一次函数
来描述,其中自变量
为售价,因变量
为销量,
和
是这个公式中两个尚未确定具体数值的参数。一旦我们能确定
和
的具体数值,再把
代入到这个公式中就能得到售价为 35 时的预测销量。
到此,预测销量的问题被我们转化为了确定定
和
具体数值的数学问题,换句话说,我们为预测奶茶销量的问题建立了一个数学模型:
。
等下......模型?参数?预测?莫非平时听到的什么大模型,几亿参数就是指的这个?
没错!大模型本质上就是一个形式极其复杂,参数极其多的一个数学公式。而所谓的预测,正如我们给定售价后预测销量一样,也只不过是给定一个具体的输入后根据公式进行了一通计算而已。
这,就是训练
回到现在的问题:怎么确定
和
具体的值呢?
回顾一下,一次函数的图像是一条直线,
和
分别调整直线的倾斜程度和距离坐标系原点的距离。