车间框架
会话中最有用的划分不是本地与云。它是模糊的而不是有界的。当问题仍然很广泛、探索性或框架不佳时,frontier model 是更好的工具。它具有容忍歧义的宽度。当工作量减少到更窄的操作通道后,Local AI 就会变得有用。
该通道由 SOP 创建。不应要求模型拥有整个 workflow。它应该拥有模糊部分:自然语言请求、混乱的注释、不确定的输入、图像或音频提取、摘要步骤或私有编码上下文。
核心说明很简单:模型不是魔术胶。它是 workflow 中的一个组件,必须足够明确才能检查。
当它在本地运行时会发生什么变化
Local AI 使隐私论证更加有力,但也使操作约束更加诚实。一个几乎不适合内存的模型是不实用的,因为它在技术上可以加载。如果操作系统、浏览器和工具没有余量,系统将陷入swap,并且体验将慢到足以在日常使用中失败。
这就是为什么较小的偏差模型很重要。目标不是机器在技术上可以运行的最大模型。目标是能够以可接受的行为完成有限工作的最小模型。适配器、post-training 和量化是这项工作的实用工具,因为它们将模型移向任务,而不会强制每个 workflow 通过超大的基础模型。
聊天框不是一个操作系统。 harness 为模型提供对文件、搜索、命令、日历、API 或 MCP 工具的受控访问。仅当模型具有明确的权限和狭窄的操作边界时,这种能力才有效。