0415-Notion AI核心能力与基础设施的建设
输入“/”快速插入内容
0415-Notion AI核心能力与基础设施的建设
0415-Notion AI核心能力与基础设施的建设
用户9970用户9970
用户3733用户37335月9日修改
Notion Custom Agents 深度访谈：Sarah Sachs & Simon Last
> 来源：Tiago Forte (Building a Second Brain) 播客 | 2026-04-15
> 嘉宾：Sarah Sachs（Notion AI核心能力与基础设施负责人，管理约50人）& Simon Last（Notion联合创始人）
> 主持：Alessio（Latent Space / Colony Labs创始人）& swyx（Latent Space编辑）
核心观点
1.
Notion从2022年底就开始尝试做Agent，前后重建了四五次。最早在GPT-4刚出来时就想做"能访问所有Notion工具的助手"，但当时连function calling都没有，他们自己设计工具调用框架，甚至跟Anthropic和OpenAI合作微调模型。模型太笨、上下文太短，反复碰壁。直到Sonnet 3.6/3.7才真正解锁。
2.
"不要逆流而泳"是Notion AI团队的核心方法论。Sarah总结了两种关键能力：第一，快速判断自己是在逆模型能力而行，还是在顺流——如果总是在跟模型较劲，说明方向错了；第二，判断河流往哪流，提前布局，即使现在不完美也要开始建，等能力到位时你已经在终点了。
3.
Notion不是wrapper。Simon用DataDog与AWS的关系来类比：DataDog不能没有云存储，AWS也有自己的CloudWatch，但DataDog是observability专家。同理，Notion是协作专家，不管底层用什么AI工具，Notion理解人们想怎么协作——这才是核心壁垒。
4.
Notion大多数搜索流量已经来自Agent，不是人类。Agent写的查询结构跟人类完全不同：位置排名（position ranking）对人类很重要（第1和第6差别巨大），但Agent更关心top-K检索模式。Notion正在重新设计检索系统，专门为Agent优化。
5.
每个团队维护自己的eval。Notion的eval分三层：CI里的单元测试/回归测试、产品级launch quality（需80-90%通过率）、以及"前沿/天花板eval"（主动只设30%通过率）。他们跟前沿实验室合作，当eval饱和时，主动设计更难的"Notion's Last Exam"。
6.
Model Behavior Engineer（MBE）是一个全新职业路径。不需要工程背景，需要语言学、产品感、对模型行为的直觉。从最初在Google Sheets里手动标记"好/坏"开始，现在用coding agent自己写eval、自己调试。Simon一年半前还在白板上教他们怎么用GitHub。
7.
"Software Factory"是Notion对AI时代的工程组织构想：多个Agent协同开发、调试、review、合并代码，人类只维护外层系统。关键组件包括specification layer（用Notion做spec）、自验证循环、bug处理工作流。管理边界非常松散——"你向他汇报，但你这周给她干活"。
8.
模型供应商在不同渠道（直连/Bedrock/Azure）提供的"同一模型"，质量有差异。有些供应商在偷偷做量化。Notion专门雇佣第三方来检测回归和优化，并且成功影响过前沿实验室的发布版本选择。
9.
Simon有过连续17天的coding agent线程，长到超出了上下文长度，是因为harness的bug。他每天睡觉前启动足够多的agent，确信醒来时它们不会全部完成——"8小时的agent运行"。
10.
Meeting Notes是Notion最重要的增长杠杆之一。不仅因为转录+摘要，而是因为它创造了数据飞轮——更多会议数据进入Notion，Agent就有了更多上下文。现在会议纪要甚至会自动@提到的人，Simon因此能实时知道谁在讨论自己。
精彩片段
关于重建的勇气：
> "我们在AI时代的方法是，每六个月重新思考一切、重写一切。这就是我在做的循环。"——Simon Last
关于领导者ego：
> "这就是为什么领导不能有ego。图像生成功能就是数据库团队的一个工程师Jimmy自己想做的，我们说做吧，给了所有资源。然后它变成了一个完整项目。"——Sarah Sachs
关于Notion的内部使用：
> "Notion是全公司使用自己产品最多的公司。我们所有功能都先内部发布，有时候dev实例会完全崩掉，你得改一堆flag才能干活——但每个人都在用。"——Simon Last
关于hackathon vs 日常：
> "如果hackathon是你唯一能造新东西的方式，你就完了。它必须是日常流程的一部分。"——Sarah Sachs
关于"Simon Vortex"：
> "我们有一个叫做'Simon Vortex'的东西。在里面时，速度极快，方向每天都在变。相当于内部的Skunk Works。我们需要的是靠谱的高级工程师，能随时进出这个漩涡。"——Sarah Sachs
关于软件工程师的身份危机：
> "今年夏天，Notion每个软件工程师都经历了一次身份危机——就像每个管理者意识到自己写代码的能力不如授权和上下文切换重要时那样。"——Sarah Sachs
关于finetuning的误区：
> "我们工具每天都在变。如果微调一个模型来理解我们的工具，我们每次改工具都得重新训练。那会严重拖慢我们。99%的问题其实是工具里的bug，修bug比训练模型快得多。"——Simon Last
关于eval系统的agent化：
> "我们把eval系统本身当成了agent harness。你应该能让一个agent端到端地下载数据集、跑eval、迭代失败案例、调试、实现修复。把eval变成一个coding agent问题。"——Sarah Sachs
关于模型选择策略：
> "现在模型市场有个空白地带——Haiku不够便宜，大模型又太贵。中间地带没有好选择。我们正在投资开源模型来填补这个三角形的空白。"——Sarah Sachs
---