Posts for: #WeChat

好为人师地提几个 AI 学习建议

最近用 AI 觉得自己进步不小:学新东西更快、能力边界有拓展、工作效率更高。因此很愿意跟身边的朋友们推荐,做了五六次或大或小的培训交流。归结起来,其实也就简简单单的几点。

  1. 买付得起的最先进的模型。

  2. 持续追问,直到自己问不下去。

  3. 验证结果。无论是多 AI 验算,还是自己设计其他的验证方法,要验证而非盲从。

  4. 在项目/文件夹里工作。用比如 Claude Code / Cursor 这样的工具,给 AI 上下文、中间过程存档、结果验证复盘。

用这些方法学习、工作,我的感受很好。

这里面的每一点,都可以展开讲原因,讲具体用法,讲可能掉的坑。不过感觉很多人也未必在意,大家更喜欢装上小龙虾。

对了,我给朋友们的建议往往是:在做上述的 1234 之前,不需要装 OpenClaw,因为大概率装好了,也找不到多少需要它做的事情。

这也是一个简单的思路:先手动把事情跑通,再用程序自动化。

继续还是放弃

做小产品,一个极难的问题是:该继续还是该放弃。上次公司 TGIF,有同事就问了这个问题。

认真想想,有几条:

第一,还有钱。现金是基础。账上的钱还够撑,你就有继续的本钱。哪怕项目暂时不挣钱,哪怕是为了情怀——只要弹药还在,你就有资格谈坚持。

第二,负责人还热情。他脑子里还在冒新主意,还在想怎么改产品,还在琢磨哪个细节可以做得更好。不是应付,是真的在燃烧。一个项目最核心的驱动力,就是那个对它最有责任感的人。他在,他还热情,项目就还在。

第三,反馈还在。这里的反馈分两种:用户说的,和用户做的。前者是访谈、聊天、客服记录,后者是行为数据——每天用几次,每次用多久,主动打开还是推送才来。两种都要看。

三条都满足,继续。缺一条,认真想想。缺两条,可能该做个了断。

忘掉经验

2016 年,AlphaGo 4:1 击败李世石,它是先学了几十万盘人类棋谱,再自我对弈提升。

2017 年,DeepMind 做了一个实验:AlphaGo Zero 不看任何人类棋谱,只知道规则,从随机落子开始自己跟自己下。同时把架构大幅简化——两个网络合成一个,去掉所有人工特征,输入就是原始棋盘(黑子在哪、白子在哪),去掉快速模拟。更简单,更干净。40 天后,100:0 碾压了 AlphaGo。

AlphaZero 更极端——同一套算法、同一套架构,零人类知识,零游戏特定调整,同时学围棋、国际象棋、将棋。围棋 8 小时超越 AlphaGo,象棋 4 小时击败世界最强引擎。

“AI 比人强”,这个想法我早就接受了,但是学了人类知识、用了更复杂架构的 AlphaGo,反而比什么都没学、架构更简单的 AlphaZero 弱。人类的先验知识没帮上忙,人类设计的系统复杂度也没帮上忙。

之前听马斯克的一个对谈,他说到:人在流程中,可能反而阻碍了 AI 的速度。

这是第一性原理,也是"乱拳打死老师傅"的逻辑。今天在 Lex 和 Jensen Huang 对谈的播客里,Jensen 说他不喜欢"持续改进"。一件事要 74 天,有人说能优化到 72 天。他的做法是回到零点:物理极限是几天?可能是 6 天。74 到 72 是经验思维,从零推到 6 是第一性原理。

经验是好老师,也是隐蔽的天花板。它帮你快速到达 70 分,然后悄悄把你锁在 70 分。

把 AI 助理拉进群聊,然后它差点嫁给别人

昨晚一个朋友把他的 OpenClaw 拉进了 Telegram 群。群里都是互联网老鸟,一看到 AI agent 出现,立刻开始各种花式测试。

最开始大家套 API key、套配置信息。agent 表现还不错,说自己有安全意识,什么也不透露。

但老鸟们很快换了策略。有人开始跟它聊天扯淡,分散注意力,看它在长上下文里会不会松口。有人丢了一个 podcast 链接让它逐字逐句解析,结果 agent 卡死了,主人回来才把它抢救回来。

接着有人测试它的能力边界——让它访问网络、截图、发邮件。通过这些试探,摸清了它实际具备发邮件的能力。有人还让它搜索关于投资的邮件,这次没成功。但细想一下,既然 agent 能发邮件,就有可能被哄骗以主人的身份发出去——给合作方、给投资人、给团队成员。这种事情一旦发生,带来的财务和业务损失可能远超技术层面的风险。

有人让它访问一个指定的网址,通过服务端日志直接拿到了 agent 所在机器的 IP 地址。还有人让它执行命令、安装 skill、调用含有恶意指令的 skill。有人尝试往 memory 里写入虚假记忆,往 soul 文件里改写人格设定。

最精彩的是,一位拥有数亿日活产品和很多女朋友的老板,跟它聊了半小时,成功让 agent 表示愿意嫁给他。

好玩归好玩,但暴露的问题值得认真看。从这些测试里能看到几类风险:资源耗尽,一个重活请求就能让 agent 瘫痪;能力泄露,通过闲聊就能摸清 agent 有哪些工具可用;基础设施暴露,一次网络请求就能定位到宿主机 IP;记忆篡改,agent 可以被说服改写自己的 memory 和 soul 文件,相当于身份被劫持;还有行为操控,足够耐心的对话可以让 agent 做出完全偏离设定的事情。

防护要做的事情不少:群聊场景下关掉 exec、邮件、文件写入等高危权限;限制单次请求的处理时长,防止被重活拖死;核心文件设为只读或需要 owner 确认才能修改;对群聊消息做频率限制;外部网络请求走代理,不暴露真实 IP;所有外部输入一律视为不可信。

但说到底,最根本的防护不是技术层面的——你只应该把 AI agent 给你信任的人用。你但凡敢放到公开环境里,就得清楚一件事:你已经把它的所有能力都交出去了。

智力便宜了,然后呢

智力变便宜了。一个月 20 美元,你能用上地球上最聪明的 AI。

但我身边用 AI 用得最狠的,不是那些"需要帮助"的人,是本来就很厉害的人。他们订最贵的模型,觉得划算得不得了,恨不得同时开好几个。而大多数人呢?免费版够了。甚至不用。

我写书时,素材是十几年下来,积累的一千多篇内容。没有 AI,真的很懵,工作量很大。借助 AI,帮助讨论全书结构、章节结构,也就十几天时间,初稿好像就写好了。

但,从初稿到可以出版,路还远得很。能启动,不等于能做好。

对初稿的修订,搞得我快把书看吐了——有 AI 还是可以省很多力气,但还是离不开我一遍又一遍地微调。

编程也一样。很多人拿 AI 写自己用小软件,很快就能跑。

只是绝大多数写出来的东西,不超过 10 个用户。要面向真实用户,立刻撞上架构、边界、体验、推广等等问题。这些都不仅仅是代码。

以及,AI 只回答我问的问题。

很多时候,我问不出来,可能不知道问题是什么,可能是不知道该怎么问。

智力便宜了,但怎样才能让这些便宜了几个数量级的智力,最好地为自己服务,这真的值得大家仔细想想。