Token 和上下文是什么?AI 的工作台有多大

系列第五期,约 90 秒的手绘动画:上下文是 AI 的工作台,放对东西,才能干好活。

Token 和上下文是什么?

AI 的工作台有多大

① 你可能遇到过

聊久了,AI 把开头忘了

接下来的代码,都用 Python 写。
好的,没问题!
…… 聊了两个小时 ……
帮我写个读取文件的函数。
public static String readFile(...)
怎么变成 Java 了?
② Token 是什么

AI 读的不是字,是 Token

今天天气不错,适合出门散步 = 7 个 Token
unbelievable→ unbelievable 不常见的词会被切成几块
长度上限、处理速度、费用,都按 Token 计算
* 切法因模型而异,这里只是示意
③ 上下文窗口

一张大小固定的工作台

④ 台子满了会怎样

新的进来,最早的被挤掉

上下文窗口
「都用 Python 写」 问题 1回答 1问题 2回答 2…… 新问题 →
被挤出去,或压成摘要
会忘事越长越慢越长越贵
⑤ 怎么省着用

把台子留给真正有用的东西

Skill按需加载只看目录,用到才翻开
RAG只取相关的几段不把整个资料库搬上来
固定指令写进重要要求比如「代码都用 Python」
新对话太长就重开把要点重新交代一遍
⑥ 把前几期串起来

所有东西,都要先放上台子

一句话总结

上下文是 AI 的工作台,
放对东西,才能干好活。

Token = 计量单位上下文窗口 = 台子大小

下一期:AI 为什么会一本正经地胡说?

0:00 / 1:26

    空格键播放/暂停,← → 切换章节,点击画面也可暂停。配音使用你设备自带的中文语音,音色因设备而异。