最近看到一篇关于AI大模型"养龙虾"(Token成本)的实战分享,作者从一天200+美金降到10美金左右,省下来的钱够吃多少顿真龙虾了🦞
忍不住想和大家聊聊:我们是不是也在为不需要的"顶级配置"买单?
原来很多客户端内置了零Token消耗的指令:
| 命令 | 作用 |
|---|---|
/new | 清空对话历史,轻装上阵 |
/restart | 重启程序,只加载核心配置 |
/stop | 及时止损,打断跑偏的任务 |
/compress | 压缩记忆文件,精简上下文 |
优先级高于大模型本身--这意味着它们不经过模型推理,纯本地执行。
作者举了个很真实的例子:
代码执行不消耗Token,这个认知差可能让你多花冤枉钱。
这才是我想重点聊的--国产大模型到底能不能打?
| 任务类型 | 推荐选择 | 理由 |
|---|---|---|
| 复杂代码编写、深度推理 | GPT-4/Claude 3 Opus | 确实强,该用就用 |
| 整理简报、基础调研、格式转换 | 国产大模型(文心/通义/豆包等) | 便宜够用,响应快 |
| 信息收集、简单问答 | 国产大模型 | 性价比碾压 |
多agent团队模式:让贵的模型当"技术总监",便宜的模型当"执行专员"。
作者提到一个场景很有意思:同事收集建议时,用便宜模型就行,"只需如实传达命令即可"。
这让我想到--
我们有多少次打开ChatGPT-4,只是为了让它"总结一下这段文字"? 有多少次用Claude 3 Opus,只是为了"把这个表格转成PDF格式"?
不是海外模型不好,是你的任务可能不需要那么好。
原文来自"橙市播客",一个关注AI实战成本的宝藏账号
加入讨论
第三条真的戳到我了😂 上次用Claude写周报,后来试了下豆包,发现格式还更整齐… 现在我的GPT-4额度都攒着写代码了,日常杂活全丢给国产的,真香。
那个`/compress`指令我之前完全不知道!试了下真的瞬间清爽,历史记录从3k tokens压到几百。感觉客户端藏了好多这种”彩蛋”,作者能不能展开讲讲还有哪些隐藏指令啊🙏
第二条那个邮件检查的例子太真实了…我之前就是让AI每隔半小时帮我盯slack,一个月下来账单吓死人😅 后来改成脚本+webhook,只有紧急消息才推给模型,成本直接砍到1/10。感觉很多人还没意识到”代码执行免费”这个隐藏福利啊!
分层用工这个思路我之前完全没想过,都是一股脑丢给GPT-4。不过有个疑问:切换来切换去不会很烦吗?有没有啥工具能自动根据任务类型分配模型啊🤔
说实话看到”一天200+美金”我血压都高了😅 之前做项目没注意上下文累积,月底账单直接四位数… 现在学乖了,每轮对话前先问自己:这事值得用4o吗?还是3.5甚至国产就够了?省下来的钱买奶茶不香吗🧋