TALK
前几天，我在新华社做了场两小时的内部分享，聊了许多东西
结束后跟新华社的朋友聊，觉得「大模型的原理和用法」的这部分内容对很多人都有用，今天就把这些东西贴出来，每页配一段说明
整场分享中，我都在围绕一个词展开论述：上下文
AI 的能力、问题和用法，本质都由上下文决定。用户发一条请求，AI 把请求和它能拿到的所有材料拼在一起，组成一段完整的上下文，再往下生成结果...循环往复
大模型之所以神奇、为什么有时候不靠谱、以及怎么能用好，都依赖于对上下文的构建
大模型在进行内容生成的原理，其实很简单：大模型会根据上文信息，不断推测下一组文字最大概率是什么，而这组文字，就叫做 token，他可以是一个字、一个词或者一些信息
这里我来举一个例子：「今天北京的天气很」后面接什么？
首先，模型给出四个候选词，「好」42%，「热」25%，「冷」18%，「乱」6%；接着模型会选中概率最高的「好」，放回上下文，继续猜下一个...循环往复
这个循环在大模型生成的过程中不断重复：给定上下文，预测概率，选中结果，放回上下文，重复生成...不管参数多大，模型都在做这一件事
ChatBot 和周报生成器看起来是两种产品，底层流程完全一样
系统预设一段上文（提示词、历史对话、页面模板），加上用户输入，交给模型接龙，最后把结果填回界面
记住：无论 UI 是聊天框还是报表，内核跑的都是同一套「预设上文 + 用户输入 + 模型生成」
Agent 和 ChatBot 的区别在一件事上：谁来构建上下文
ChatBot 靠人喂，你给它什么材料它就用什么材料
Agent 会自己搜网页、读文档、调工具，把有用的内容写进上下文，发现不够还会自动回头继续找
上下文的来源，包括以下
第一种是参数记忆，也就是模型训练时读过的海量内容，被压缩进了模型权重里，这是广义上的上下文
第二种是手动构建，人把 Word、Excel、提示词这些材料喂进去
第三种是自动构建，AI 通过各种工具调用，自己联网搜索、查知识库、调接口
判断一个 AI 工具好不好用，看它构建上下文的能力就够了
我们设想一下，如果让 AI 给出某政策文件第 18 条原文，但模型训练的时候又没有训练到，那么会发生什么？
参数里没有这条原文，上下文里也没有，但它被要求必须给答案。于是模型从几个看起来合理的候选里猜了一个，输出的东西形式上很像真的，但可能是错的。这就是幻觉的产生过程
上下文越好，幻觉越少，但不会是零
现在的 AI，能够做很多的事情，包括翻译、校对、改写、摘要、首稿、资料整理在内的很多工作，都能够很好的被解决。这时候你能发现一个共通点：AI 能做好的工作，其背后的素材都能被准确表达成一段上下文
但是哪些事情是 AI 做不到的呢？到现场、观察细节、判断真伪、决定选题、承担责任...，这些做不到。
怎么判断一件事交给 AI 合不合适？看它能不能被准确表达成一段好的上下文
对于大家来说，尤其是媒体工作者来说，在使用 AI 的过程中，我有三条落地建议：
跟踪 AI 进展：盯模型官方、开发者社区和可信媒体，每周固定 30 分钟够了。
自己上手：给够上下文（任务、材料、输出格式），别纠结提示词话术
恪守红线：事实、引语、数据、法条必须人工核验，敏感信息不喂外部模型，重要稿件必须人审
在 AI 的加持下，内容生产的方法也要跟进时代，也要有所恪守：不要拒绝使用 AI，但也不要盲目使用，更不要去制作赛博垃圾
过去，媒体是主要自己写内容，而未来越来越多是在为 AI 提供准确的上下文
媒体要承担的，是去现场是在拿最稀缺的上下文，做采访是在拿别人拿不到的上下文，看材料是在筛选上下文，做判断是在组织上下文
AI 是需要被喂养的系统，喂什么，决定它吐什么
热门跟贴