分享嘉宾：王晔
耶鲁大学计算机科学博士，曾就职于谷歌、微软、NEC等国际知名IT企业，在Google总部负责广告产品等创新；回国后先后加入并担任UMU、智鹤科技等toB AI产品企业的CEO。

前 大模型时代的AI产品实战

Google Image Ads

  • 产品设计：允许广告主提供多幅广告图片，在赢得关键词时展示
  • 商业模式：广告主竞价图片广告位
  • AI模型及价值：评估广告主提供的一系列图片中哪一张和用户的搜索关键词匹配的最好
  • pipeline： 输入：关键词+图片 —> F：AI模型 —> 输出：匹配分数

review

Q: 为什么AI这么好用，却没有被广泛应用？
A: 因为需要大量的样本，做机器学习。

【AI 技术：机器学习】
AI 是用数学模型来完成工作任务的工程系统。

输入 x --> AI 模型 f（） --> 输出 y
机器学习：根据 x 和 y 的样本例子，设计和训练 f() ，使 y=f(x)

使用局限性： 每种不同的工作任务都需要设计和训练不同的 AI 模型 需要人工采集和标注大量的样本，用于训练

A/B test 落地页优化

  • 产品设计：落地页快速生成和微调工具、广告投放系统对接、实时数据统计报表
  • 商业模式：根据落地页 千次曝光次数 收费

review

【AI 技术：无监督学习】
不需要做大量人工标注，自动根据任务调整 AI 模型

使用局限性： （当时）可以使用无监督学习的工作任务种类很少 因为 AI 模型是黑盒，其工作原理不好解释，输入输出不好预期

注意大模型也有类似的问题



AI在产品中的价值

  • 【科学】变量极少 -> 目前只有人能做好
  • 【艺术】变量无限多 -> 也许只有人能做好
  • 【工程】变量有限多 -> AI可以做好

大模型对比传统AI 的新增价值

近十年来的快速发展，大家逐渐看到大模型的价值

大模型在AI中的位置

AI -> Generative AI -> Large AI Model -> Large Visual (DELL-E 2) / Large Language Model (GPT-3.5) / Large Multimodal Model (GPT-4)

history

大语言模型的特点

  • 大语言模型是通用的AI模型，不用再为每个任务单独设计模型

  • 大语言模型可以无监督学习，不用大量人工标注

  • 大语言模型的工作原理可以大致解释


基于Transformer深度神经网络 (处理文本任务)

GTP模型就是 只有Decoder 没有Encoder 的Transformer模型 （仅仅处理 预测下一个词 的任务）

注意力（Attention）是Transformer网络理解文本的核心原理

注意力（Attention） 可以理解为 拆分单词，分析相关性


建议在以下应用使用：

  1. 非标接口
  2. 领域知识丰富
  3. 已有产品
  4. 非标数据

应用举例

【智鹤GPT】 技术方案：微调训练，注入更多行业知识问答数据、提示词（行业顾问） 商业模式：to C 免费，内容营销，获取流量，帮助销售线索转换，加强客户企业个人用户的联系

【“智慧指挥”大屏】 大模型技术方案：意图识别、写代码（agent）、行业顾问 产品设计：借鉴智能音箱类产品，语音对话，手机-大屏联动 商业运营（客户成功）：to B

【AI客户派派】 技术方案：知识库查询（agent）、工具调用（agent） 产品设计：扮演真人客服，若容易解决，则回复问题；若不好解决，创建工单，转交给工程师继续诊断 商业运营：内部使用

硅谷新晋的大模型应用

  • Claude 2
    https://www.anthropic.com/news/claude-2
    比 chatGPT 更好用的大语言模型AI

  • midjourney & Stable Diffusion

  • notion ai
    大模型价值：辅助笔记撰写
    用户运营：先抓投资经理群体，有钱 & 有需求（写大量分析报告）& 易触达 （追逐创业公司） & 裂变效应（金融内容传播效果很好）

  • folk（CRM领域），Pich N Hire （招聘领域），ZEDA（产品设计）

  • Character.AI（glow的国际竞品）、D-ID(高质量视频生成)、framer（高质量网站生成）

  • Captur（物流检查自动化）

什么样的大模型应用更可能成功？

根据这个区别，大模型的价值是什么？ 你认为大模型应用要成功，需要怎样做？ 有大模型的产品 vs 没有大模型的产品，核心区别在哪里

  • 大模型的价值体现在哪里 用大模型提高价值兑现的效率，而非价值就在大模型。 to C 的可能方向： · 创意工具 · 家用机器人（包括汽车、智能音箱等） · 教育 · 游戏（NPC等） · 科研（辅助文献阅读理解）

  • 善用大模型的能力 · 大模型的能力很丰富，我们的产品只需要使用大模型的子能力就可以 · 通过提示词来使用大模型的能力 ”说得好就能干得好“，产品经理可以帮助工程师更好的理解AI任务，开发出更好的提示词 · 通过微调训练来注入领域知识中的非标数据 标准化、结构化的领域知识数据，大模型可以编写代码处理 非标的领域知识数据，通过对大模型进行针对性的微调训练来注入

  • 产品响应速度要快 · 可以通过弹窗、引导动画等方式优化用户体验 · A/B测试结果显示，响应速度每降低10%，就会多流失6%的用户

大模型 AI产品经理需要的新能力

  • 不要求大模型的内部技术，要学其对外接口 · 基本问答、多轮对话、多种模式 · 调接口参数优化效果：temperature、top_k、generated_tokens

  • 需要理解微调训练原理，在产品运营中采集数据 · 语料：用于对大模型进行微调训练，注入行业知识 · 音视频素材：用于多模态大模型的适配使用 · 数据：用于物联网多模态大模型的适配使用 · 其他业务数据：用于评估大模型的价值表现

  • 最好能理解提示词工程

学会管理大模型应用的产品需求

大模型产品与非大模型产品形态的一大不同点：给接口增加了模糊性

大模型的输出是充满随机性的，如何才能定义其工作是符合预期的？ · 采用A/B测试等方法比较迭代前后的用户反馈变化 · 测试可以多次采样，对结果进行数据分析，和人工执行的数据进行对比、拟合 · 测试根据新case改进测试用例的设计

大模型产品的需求管理新增另一个难点：可实现性评估难度增加 · 产品经理理解技术核心概念和工作原理，有效地和AI工程师沟通并理解技术的边界（理解可能性、挑战、发展速度） · 产品决策的方法更加复杂（不再是简单地是否可实现/多少人天能实现）