前阵做的游戏外挂和最近想让 ai 画微信表情都遇到了各种问题, 好的产品和 poc 的差距还是很大, ai 在把软件做更好的路上也显得没第一眼看到的那么厉害了.

ai 的能力

现在说的 ai 大多是指 llm (大语言模型, large language model).
llm 其实是精准的信息整理.
我们认为 “ai 可以整理文件夹, 写ppt, 逆向工程, 开发软件”, 只是被 llm 被装上了”手脚”, 这些”手脚”并不是 ai, 是早就有了的.

很多 ai 相关新闻是被夸大的, 很多东西是没 llm 的时候就有的, 当然, 这种”新闻的夸大”也是没 ai 前就有的.

工具和生态

ai 新闻是傻逼的, 但 ai 的”手脚”是有实际意义的. 他们好比给人类的大脑装上身体, 好比太乙真人给哪吒的魂魄装上荷花化身.

llm 的输出只有字符串, 我们感受上的”帮我写代码, 帮我下载安装, 帮我整理文件, 帮我格式化电脑”, 都是通过你跟 ai 说话的那个 agent(代理程序)调用了不同工具进行操作的.
而 tool, mcp, cli 其实是一个角色, 就是”手脚”. (其实也有”眼睛耳朵”)

然后 agent 是负责把整个流程串起来的东西, 可能像是从大脑传出去的神经系统.
他除了协调 llm 和 tool 之间的协议外, 聊天历史(llm 是无状态的), 规范约定也都是 agent 做的.

llm 能让人感觉那么厉害, 是因为他的准确度非常高. 再加上 agent 和 tool 的配合, 所以给普通人提供了很大的帮助:

  • 节省搜索资料, 一个个搜索结果打开过滤信息的时间.
  • 解放查看文档的时间, 以前用个复杂的包需要花好久才能写个简单 demo.
  • 节省操作时间. 对于原先没有动手能力的人特别友好. 比如下载, 执行命令, 安装报错, 本来不同程度的麻烦可以拦掉不同熟悉程度的人让人放弃下一步.
  • 节省文本分析时间. 一部分人的工作是有文本分析提取一些信息的重复工作, 不能简单通过正则提取, 如果能用上会节省很多精力.
  • 节省编码时间. 原先我们说的”体力活”代码都可以不写了.

ai 有没有创造能力

基于 llm 的训练方式, 模型产出都是基于训练数据的, 是不会造新东西的.

我在训练角色 lora 的时候意识到, 只有角色正面的训练数据训练的模型, 是不能产出角色侧面图片的.

但这样就可以说 “ai 没有创造能力”吗? 很难说, 这涉及”什么是创造”的问题, 创造可能就是组合.
人类的创造也是基于现实世界的, 而且”不基于现实世界的创造”是无法被别人认可, 也无法被认为是”创造”的.

但可以确定的是, 人类的创造的上限更高, 这是底层结构决定的, 在研发出新的训练架构前人类的创造能力是高于 ai 的.
当然现在 ai 可以认为是”创造质检员”, 来判断一个东西是真创造还是简单的整理与组合.

ai 的能力边界

知道 ai 能做什么与不能做什么, 都是需要思考的, 并且有价值的.
知道 ai 能做什么可以扩展自己的能力, 知道 ai 不能做什么可以知道自己做什么是有意义, 不徒劳的.

犯错

与刚才讨论的”创造力”一样, 是人就会犯错, 所以犯错并不是 ai 特有的问题.
而 ai 犯的错是需要人负责的, 这有点像员工犯错领导是要负责的一样.
所以解决方案也是以前就有的: 解耦, 测试用例, 异常检测, 回滚方案.

修改方案

众所周知代码是第一个被 llm 攻占的领域, 原因除了”语言”是被”大语言模型”最佳适配外, 还有一点是 ai 生成的代码可以随意改这一个天生特质.
再加代码生态里的版本控制和 diff 展示都是百年前就成熟的系统了, 自然第一个打击编码了.

而 ai 出图和视频叫”抽卡”, 开始只能通过提示词工程提高抽卡概率, 出图和出视频的成本又比代码高得多.
大家在解决图片视频掌控性方面, 除了提示词, 还尝试了很多办法:

  • inpaint 模型配合 alpha通道实现局部抽卡
  • ControlNet 实现结构控制
  • 工作流生产图层和表达式
  • 模拟操作软件替代 diffusion 模型
    其中1和2在一些专用 agent 里也会有”画骨架”或者”勾选区域”等 gui 上的设计.
    controlnet能产出一些”ai特有”的图片, 比如像蔡徐坤一样的鸡, 看似风景的二维码, 2个女高远看是牛逼二字之类的图片.(这和小节主题无关)

无论是什么领域, aigc 可以越大程度上被操作, 那么在这个领域 ai 用得就更顺手, 更省力.

上下文限制与场景限制

上下文限制可能是编码特有的问题, 真正用 ai 写代码会发现, 项目越复杂, 改动涉及项目里其他内容越多, 模型降智就越厉害.
ai 编程遇到最麻烦的情况就是 ai 反复验证重试一个问题, 导致 token 和时间大量消耗而没有实际紧张, 只能人工深度介入.

有过真实工作经验的朋友知道真实项目可不是广告里那样从零开始弄一个 demo 这么简单.
不光项目很大需要压缩上下文, 还可能改动还涉及对其他系统的影响.

另外一个情况是如游戏外挂, 游戏开发的场景, 暂时还没有 tool 反馈给 ai, ai 就等于是瞎子写代码, 是寸步难行的.

因为上面这2个原因, 正经项目脱离人是很难的, 一定需要人的维护.
而我们的精力也应该从 api 调用转移到代码结构上.
通过确定代码结构, 充分解耦, 完善测试用例来提高系统的可维护性.

了解ai能力

除了 ai 限制, 人还要知道 ai 能做什么, 比如开发软件, 比如逆向工程.
其实这个问题也不是 ai 时代才有的, 大家用的手机软件其实也开发率很低的.

这决定了人类的哪些能力是不会被替代的.

模型之间的关系

神经网络的MLP, CNN, UNet, transformer

// 赛博果蝇, 蛋白质折叠方式

LLM和Diffusion Model

多模态与agent

ai 出图能跟上 ai 编码吗

关键词: 语言理解, 可修改性, 涌现

人类的要做什么和培养什么能力