上下文窗口与 Token：读懂 AI 的输入边界
评论 36作者：破壳网编辑部
理解 Token 和上下文，可以帮助整理长资料，也能让提问、引用和结果检查更有条理。
Token 不等于固定数量的字
模型通常会把输入转换成 Token 再处理。文本的分词方式与模型有关，中文、英文和代码的对应关系也可能不同，因此不宜直接把字符数当成准确的 Token 数。
为问题和回答预留空间
处理资料时，还要考虑任务说明、对话记录和输出内容。具体模型的窗口和输出限制应查看官方文档；不要仅凭一个宣传数字判断整份资料能否被完整处理。
把长资料变成可追踪的问题
可以按章节整理资料，保留标题和来源，再针对每一部分提出问题。得到摘要后回到原文核对关键事实，并检查不同章节之间有没有遗漏或矛盾。
全部评论 模拟评论