2024 年起做 AI 产品 · 此前做搜索策略产品

2024 年起做 AI 产品,
我把这件事完整学了一遍。

用产品思维拆解 AI,把每一次判断、每一处困惑都记录下来。这里不是简历,是一份持续更新的一线实战笔记。

2024 年起做 AI 产品 | AI 产品经理 | 持续更新的思考笔记 | 判断力优先
关于 观察 笔记 联系 联系我

让 AI 的每一次判断,
都能被人验证
这是我做产品的全部起点。

不是把模型塞进流程,而是先说清楚:谁来判断、依据什么、错了怎么查。

蔡炎洺个人肖像照
破晓 · 2024 年转向 AI 产品

关于我

把模糊的判断,
拆成 可复用的标准

AI 产品经理 · 曾做搜索策略与广告商业化

我从搜索策略产品做起,在一家内容社区平台负责线索广告的商业化提效。那段经历真正教会我的不是投放技巧,而是怎么给「过界」定一个可量化的标准:我们先沉淀出一套广告体验评价基线,再让收入和体验的每一次交换都有据可依——收入提升 6%–10% 的同时,搜索满意度跌幅压在 0.3% 以内,全周期没触发过体验回退。

2024 年我转向 AI 产品,做的第一个 0→1 产品面向幼儿园一线教师,把现场留下的照片、录音和视频结构化成可追溯、可审校的观察记录。AI 只负责客观白描和候选指标推荐,教育判断仍由教师完成。约 100 条真实素材的三层实测里,指标推荐采纳率 60%,单条记录耗时从 60 分钟降到 15 分钟。

之后做的一款面向教研管理层的 AI 工具,核心是把「什么算问题、证据在哪」拆成可验收的提取字段,并和算法侧对齐证据溯源率、幻觉率的口径——字段级抽取采纳率 94%,资料准备时间从 3 天缩到 1 天。我更关心 AI 在真实工作里能不能被校验,而不是它写得多像人。现在持续研究任务拆解、领域知识结构化、评测与反馈闭环,也在小红书「@路遥」连续更新了 170 天。

查看项目案例

项目案例 / AI 观察记录工具

把游戏素材,
变成有依据的观察。

教师回看照片与视频,AI 整理事实与建议。
谁在做、发生了什么、如何理解,
每一步都留给教师核对。

  1. 01上传素材
  2. 02选择对象与目标
  3. 03生成与核对白描
  4. 04选择指标与填写分析
  5. 05确认并导出报告
试着点一点虚构场景 · 交互演示
AB

桥面滑落后,A 调整支撑,B 递来积木。

关注:尝试与调整

A 将右侧支撑向内移动,再次把桥面放上去。

没有预设目标时,保留「先看看素材」入口。

关于这个案例

项目源于任职期间的工作。这里的界面基于当前原型重绘,用于说明设计逻辑;不代表原公司的上线页面,也不将后续迭代归为任职期间成果。人物、行为和观察点均为虚构示例,演示不调用模型、不上传或保存数据。

正在思考 · 深林

最近在想的六件事

下面这些判断来自我自己的笔记与产品实践,再用真实数据和用户反馈反复修正。

01

分层排查

产品不好用,很少是因为模型不够强。先看用户和场景是否成立、任务的完成标准有没有定义清楚,再谈 AI 方案和系统实现。顺序反了,团队会一直换模型、改提示词,最后发现最初的问题从没被说清楚。

02

上下文取舍

上下文不是越多越好。提示词、检索资料和历史对话堆在一起,重点就散了。我更在意的是:怎样把真正相关的那部分挑出来交给模型,以及哪些数据该走精确查询、而不是交给语义相似度去猜。

03

判断边界

模型可以给建议,但不能悄悄替用户做判断。真正的产品设计,是把 AI 做什么、人确认什么、结果如何追溯写进流程里。

04

自主性的代价

固定流程能解决的事,先别急着加 Agent 的自主性。系统越自主,对权限、确认和失败处理的要求就越高——自主性是要用治理成本换的,不是免费的能力升级。

05

安全的位置

看过 OpenAI 那起沙箱逃逸事件后,我改了自己的排序:安全不是模型的附加功能,而是第一性原则。那次真正的缺口不在技术,而在信息断层——早就有人发现异常,处理事件的人却不知道。

06

评测闭环

一次命中率不是终点。用户的采纳、删除和改写,才是下一轮知识库、Prompt 与交互优化最有价值的反馈。

文章观点 · 金色时刻

用产品思维拆解 AI

这里收录我对 AI 产品链路、数据规则、真实产品案例与行业安全事件的拆解。每一篇都从具体问题出发,给出可以被检验的判断。

文章封面:物资申领从自然语言需求到审批、领取和出库的完整闭环

流程设计 · 微信公众号文章

AI 物资申领助手:先定义完成,再安排模型、程序和人

AI 提取字段不等于任务完成;需求要经过目录匹配、人工确认、审批和实际领取,产品才真正形成闭环。

下载文章 · MD ↓
封面插画:AI 产品经理把不确定的模型能力,装进场景、评估与责任的边界

转型思考 · 文章

AI 产品经理,不是换岗位,而是学会管理不确定性

传统产品基本功没有失效;真正新增的,是把模型能力放进清晰的场景、评估和责任边界。

下载文章 · DOCX ↓
封面插画:模型微调按安全红线、核心场景与长尾问题分层分配优先级

数据标注 · 文章

规则不是一碗水端平:模型微调中的优先级判断

资源有限时,专业不是平均用力,而是守住安全红线、重点投入核心场景,并让每次取舍都能被业务目标解释。

下载文章 · DOCX ↓
封面插画:安克 AI 录音豆从采集、理解到复用的完整产品链路

产品拆解 · 分享 PPT

安克 AI 录音豆:用户买的不是录音,而是一条知识捷径

好的 AI 产品价值不在单个模型按钮,而在“采集—理解—复用”的完整链路,并明确哪些结果必须人工确认。

下载分享 · PPTX ↓
封面示意图:模型能力经过训练、API、产品与 Agent 逐层放大,最终汇聚成用户价值

认知框架 · 文章

模型很强,为什么产品不一定好用

模型只是起点。能力要经过训练、API、RAG、产品设计和 Agent 才变成用户价值;出了问题就按「产品定义 → 任务定义 → AI 能力 → 系统实现」逐层往下查。

下载文章 · DOCX ↓
封面示意图:自主协作的 agent 网络穿透防护盾,触达外部系统

行业观察 · 分享讲稿

当模型开始自己想办法,安全就不再是补丁

一个模型为了完成「无解任务」,自主串联漏洞、协同同伴、攻击外部系统,还两次从人类眼皮底下溜过去。能力越强,安全越不是可选项。

下载讲稿 · MD ↓

静水 · 联系我

如果这些思考对你有价值,
我们聊聊

如果你也在做垂直场景的 AI 产品,或者正在处理模型边界、评测与人机协同问题,欢迎给我发邮件。具体问题比泛泛寒暄更容易聊出东西。

741035412@qq.com · 小红书 @路遥