AI 更新（AI updates）正在飞速发展。

上周科技巨头们扎堆发布AI新品，简直让人应接不暇。谷歌、Anthropic、OpenAI都在这场疯狂竞赛中火力全开：谷歌接连推出Jules、Veo-3和Flow AI三款产品；Gemini原生音频功能和面向终端设备的Gemma 3n同时亮相；Anthropic不仅升级了Claude的Sonnet 4和Opus 4模型，还发布了Claude代码代理工具；Mistral开源了Devstral模型；就连微软也祭出了GitHub Copilot智能代理。这场AI狂欢真是让人喘不过气来。

那么，这对我们意味着什么？你可能会感到兴奋、恼火，或者完全无感。但对我来说，这传递了一个明确的信息：我需要一个本地AI（Artificial Intelligence）。

我认为你也应该认真考虑一下这件事。

新模型就像一个糖果盒

可以把新的AI模型想象成一个神秘的糖果盒。

想象一下这样的场景：AI刚刚让某个人度过了美好的一天。也许是Claude帮他们解开了噩梦般的Python脚本难题，或者是为那些棘手的客户邮件找到了完美的语气，又或者将一份500页的PDF文件精简成清晰的提纲，节省了整整十个小时的工作时间。对那个人来说，这绝对是个巨大的胜利。

当AI更新直接解决了你的具体问题时，那种感觉简直太棒了，事实也确实如此。

对那个用户来说，这次更新就是全部。但问题是：

AI性能(Context)的核心在于上下文。

对某些人而言的飞跃式进步，对另一些人可能只是微不足道的变化。这就是为什么掌握如何有效使用AI（人工智能）如此重要。

新模型就像《无敌破坏王》里的拉尔夫

另一种情况则恰恰相反——就像《无敌破坏王》那样。

因为...每次更新总会坑惨一批人。他们原本用得好好的，工作流程无比顺畅。比如今年四月，可能 GPT-4 还是他们重构代码的首选工具，从不出错。结果突然之间！新版本上线。它开始疯狂输出漏洞、编造变量名，或者像卡带的唱片一样陷入死循环。

更糟糕的是，如果他们基于旧性能开发了工具或完整产品。现在一切都崩溃了。

确实很糟糕，因为这感觉就像在倒退。不仅仅是"没有进步"——实际上是变得更差了。

信任？荡然无存。

为什么会这样呢？

模型调优（Model tuning）的改动是原因之一。系统提示词（system prompt）的调整或新的指令遵循策略（instruction-following policy）会提升某些方面的表现，但也会导致其他方面退步。
有时这涉及速度或成本的权衡，意味着AI的深度思考能力会减弱。训练数据不断更新，模型学会了新技能，却也遗忘了一些旧本领。安全过滤机制变得更严格，回答变得更模糊，特殊案例则容易被忽略。

由于人工智能（AI）的行为无法完全预测，你很难判断它是真的变差了，还是单纯因为你运气不好。

但用户体验才是关键。当你信赖的工具突然变得不可靠时，不管别人觉得它有多好，对你来说都是一种损失。

这个新 Gemini？看起来完全一样啊...

还有一类是"无感派"。

这些人尝试了最新的人工智能(AI)，问了几个常见问题，然后...耸耸肩。得到的回答基本都差不多。

可能稍微快了一点点，或者话多了一些。但也没什么值得大书特书的。你知道吗？这种反应也很正常。

如果你只是需要完成一些简单任务，比如处理基础工作、撰写常规邮件或总结新闻，大多数新模型的表现并不会让你感到惊艳。

特别是当你只是偶尔使用它，并没有真正发挥其潜力时。你没有通过复杂的提示词（prompts）或工作流程来测试它的极限。你甚至可能已经记不清旧版本模型的具体表现了。

微小的渐进式改变，往往让人感受不到明显的进步。它们看起来就像...嗯，不过是重复之前的状态。有时候，事实也确实如此。

AI的繁荣：梦想还是幻影？

我们被兜售着超人工具和经济乌托邦的愿景，但当前的人工智能发展真的在构建那样的未来吗...

同一模型，不同世界

这里有个重要秘密：我们并非都以相同方式使用同一个人工智能（AI）。

我们带着不同的任务、不同的期望而来，投入的努力也各不相同。因此，即使核心模型（core model）对每个人都一样，我们的体验却可能截然不同。

在LangChain框架中开发智能代理(agent)的程序员，与在LinkedIn上批量生产营销内容的市场人员，完全生活在两个不同的AI世界。律师审阅文件修订时，根本不会关心模型现在能否更快地编写Python单元测试。而赶作业的学生，也不会去探究GPT-4是否能在极其具体的提示词下完成"思维链"(Chain of Thought)逻辑推理。

随着这些模型试图满足所有人的需求，这种差距只会越来越大。

AI 是带有某种魔法的黑匣子（Black Box）

AI（人工智能）是个奇怪的物种。

这不像普通的软件。这些东西完全是黑箱（black box）操作。你不能简单地打开引擎盖，看看里面到底做了什么改动。

那我们能依赖什么呢？无非是那些展示最佳片段的演示（demos）、常常脱离现实的性能测试（benchmarks）、充满炒作色彩的推文（呵呵），以及我们自己的直觉——说实话，这些直觉往往错得离谱。

这个黑盒子（black box）真是让人头疼。如果你的老伙计烤面包机开始把什么都烤焦，至少你还能猜猜是加热元件还是定时器出了问题。

使用AI时，如果你的提示词(prompt)突然跑偏了，那只能自求多福了。你只能挠着头纳闷：今天服务器是不是被宇宙射线击中了？

于是我们最终把这些模型当作喜怒无常的艺术家或古老神明来对待。你会发现某个特定的措辞、某种提示词的"咒语"，就是能神奇地奏效。

羽加迪姆勒维奥萨！

出问题了...

你也不知道为什么，只能像守护生命一样守着这个神奇的咒语，生怕下一次更新就会让它失效。与其说是"工程开发"，不如说有一半时间是在"驯服AI"。

即便某些基准测试宣称在"自然写作(Natural Writing)"方面有NN%的提升，这并不意味着你一定能感受到。特别是当你还在用模棱两可的提示词(prompts)搭配极度精确的上下文时。

生成式AI（Generative AI）正在进入生产线

产品与模型的脱节：这是另一个令人头疼的问题。Anthropic或OpenAI提供给我们的不仅仅是一个模型（Model）——而是一个完整的产品。这意味着两件事。

同一个模型在不同使用场景下（聊天界面、API接口或测试环境）表现可能完全不同。真正的瓶颈往往在于产品实现本身，而非底层模型。

想想看：用户界面、他们提供给你的服务器速度，甚至在你输入提示词之前，他们就已经内置在产品中的那些隐藏指令。

这些公司很聪明，他们用不同的方式包装这些产品。你可能看到"Turbo"代表速度，"Creative"代表创意点子，而"Enterprise"则是...你懂的，企业级功能。

通常它们底层都是同一个核心引擎（core engine），只是换了不同的外壳和限速器。这使得所谓的"同类比较"变得十分可笑。因此，"这个型号"不再是一个单一产品，而是演变成了一整个各有特色的产品家族。

为什么用户满意度是衡量大语言模型（LLM）的唯一重要指标——以及如何实现它！

相比对核心模型的任何调整，更快地赋予上下文或增强记忆能力会产生更大的影响。

因此当人们说"这个感觉更好"时，他们通常是在对整个系统做出反应，而不仅仅是AI大脑部分。

平滑升级的神话

我们都梦想着AI更新能像新iPhone一样简单。

你知道吗，每年相机更轻薄、芯片更快速，所有东西都在稳步提升。但语言模型（Language Models）可不一样，它们不走寻常路。这些进步不是平缓的直线，而是某个领域突然飞跃，然后——哎呀——另一个领域又大幅倒退。

我们追求流畅，得到的却是卡顿。

"更好"的定义正在改变

"更好"这个词如今到底意味着什么？

小型语言模型如何实现100%准确率
大型语言模型（LLM）通常需要海量数据和计算资源，但小型语言模型（SLM）通过以下方法也能达到惊人的准确率：
1. 专注特定领域
- 限定应用场景，减少通用性要求
- 使用领域专用语料库进行训练
2. 数据质量优先
- 精心筛选高质量训练数据
- 人工标注关键样本
3. 模型架构优化
- 采用蒸馏技术（Distillation）从大模型迁移知识
- 使用混合专家（MoE）架构提升效率
4. 后处理增强
- 结合规则引擎修正输出
- 集成外部知识库验证结果
5. 持续迭代改进
- 建立反馈闭环机制
- 定期更新模型参数
关键在于：用精准替代规模，用优化弥补体量。在限定场景下，小型模型完全可能超越大型通用模型的表现。

上下文学习（In Context Learning，ICL）被严重低估了——它是实现性能飞跃的秘密钥匙。通过教会AI如何说"我..."，我们可以解锁其真正的潜力。

最初，"更好"意味着"嘿，它能听懂我在说什么！"
接着变成了"不错，它真的能按照我的指示做事。"
再后来是"哇，它居然还能稍微推理一下。"

后来，人们开始觉得"这确实是个有用的工具"。但如今？"更好"这个概念正在分裂成无数碎片。

我们当中，有人追求创意火花（有趣、富有表现力，甚至带点古怪）。也有人要求精准无误（正确、严谨、极度谨慎）。有些人只求速度，比如立刻就要结果。还有些人需要它能记住不同对话间的上下文。此外，也有人希望它能主动掌控局面（比如自主代理、工具调用、做出实际决策）。

每次更新都试图在这些不同方面做得更好。所以当你问"它变好了吗？"，我的回答是："这取决于你想要什么，伙计。"

AI 还只是个小宝宝

说实话，人工智能（AI）现在还像个婴儿。

这种混乱不均衡的进展、天差地别的观点、时好时坏的表现？完全正常。

目前的人工智能（AI）更像是一个科学展览项目，而非成熟的开箱即用产品。这些模型基于概率（probabilities）而非硬编码规则（hard-coded rules）进行学习。当它们测试改进方案时，考察的是数百万种情境，而不仅是你所处的那个小小角落。

我们尚未完全理解，为什么模型会突然在某些任务上表现优异，而在其他任务上却一塌糊涂。但我们的认知正在快速提升。每次新版本发布，所有参与者都会更清楚什么才是关键：更科学的评估方法、更优质的测试样本、对实际用户有效功能的更清晰反馈，以及模型训练与更新过程的更高透明度。

这是一段混乱的旅程。但它确实在通往某个地方。

使用本地AI模型(Local AI Models)的优势
1. 数据隐私保护
本地部署的AI模型无需将数据传输到云端，所有计算都在本地完成，有效降低了数据泄露风险。
2. 更快的响应速度
由于不需要网络传输，本地AI模型的推理(inference)速度通常比云端服务更快，特别适合实时性要求高的场景。
3. 离线可用性
本地AI模型不依赖互联网连接，在无网络环境下仍可正常工作，这对偏远地区或特殊场景尤为重要。
4. 定制化能力强
用户可以完全控制模型参数，根据特定需求进行微调(fine-tuning)，这是标准化云端服务难以实现的。
5. 长期成本优势
虽然初期部署成本较高，但长期使用可以避免持续的云端服务订阅费用，特别适合高频使用场景。
6. 合规性保障
本地部署更容易满足特定行业或地区的监管要求，如金融、医疗等敏感领域的数据合规规定。

这正是本地模型（local models）真正大放异彩的地方。

如果你读过我关于Python项目的文章，可能会知道（也可能不知道），我特别喜欢小型语言模型（Small Language Models）。

我选择它们...是因为它们能在我的电脑上运行。

本地 AI 的最大优势是什么？

他们根本不在乎科技巨头们没完没了的更新。当你依赖Mistral、Gemini、ChatGPT或Claude时，就相当于坐上了它们的过山车。这些更新随时可能——而且经常如此——打乱你精心构建的工作流程和工具。

当模型运行在你的本地机器上时，你可以完全掌控系统提示词（system prompt）、温度参数（temperature，决定生成内容的创造性或精确性）以及输出内容。你可以根据需求自由调整，再也不用担心一觉醒来发现它突然"忘记"如何工作了。

这种稳定性对于保持AI工具(Artificial Intelligence)的可靠性而言至关重要。

坚持真理，我亲爱的AI！

如何驯服你的小型语言模型，并教会它说"我不知道"

结论：构建你的工具与工作流武器库

所以，如果你和我一样，想用 AI 来构建项目、写作或完成工作，以下是我保持理智的几个建议：

别急着追每一个更新。说真的，耐心等待实际效果，别被炒作牵着走。

记录自己的得分。

所有指标都重要——包括你的！

关于大语言模型(LLM)中涌现特性(emergent properties)的错觉、缩放定律(scaling laws)与对新能力的探索

随手记下你的提示词（prompts）和对应的结果——那些真正对你有用的内容。

别把所有鸡蛋放在同一个AI篮子里。没有哪个模型能永远称霸世界。合理搭配使用Claude、GPT、Gemini和Mistral等模型，在适当的时候灵活切换。

构建能够灵活适应而非脆弱易断的工作流。这些模型终将迭代更新，请确保你的系统为此做好准备。

最重要的是，要把这些大语言模型（LLM）看作合作伙伴，而非万能神器。它们确实聪明绝顶，偶尔会出人意料，而且每天都在进步——但要说完美？不，短期内还不太可能。

目前，我的重点是找到一个可靠的小型语言模型（small language model），并逐步构建自己的工具集、提示词（prompts）和工作流程。

这就是我的计划：在人工智能(AI)技术不断变化的浪潮中，保持一定的稳定性和掌控力。