2025-01-17-building-a-generative-ai-platform.md

Building A Generative AI Platform

• URL: https://huyenchip.com/2024/07/25/genai-platform.html
• Added At: 2025-01-17 09:43:43
• Link To Text

TL;DR

本文介绍了平台架构的逐步构建过程，涵盖增强上下文、防护措施、缓存、复杂逻辑、可观察性和AI管道编排，强调组件模块化和系统维护的重要性。

Summary

1. 平台架构概述：

   • 基础架构包括模型API、数据源、工具、上下文增强、防护措施、缓存、复杂逻辑和动作执行、可观察性和编排。
   • 平台从简单的架构开始，逐步添加组件以应对应用复杂性。

2. 增强上下文输入：

   • 通过访问外部数据源和信息收集工具，增强模型上下文。
   • 利用外部记忆源如文档、新闻更新等，通过RAG（检索增强生成）模式进行上下文构建。
   • 文档分割成可管理的块，使用基于术语的检索或基于嵌入的检索进行检索。

3. 防护措施：

   • 输入防护：防止敏感信息泄露，如个人隐私数据、知识产权等。
   • 输出防护：评估生成质量，处理不同失败模式，包括空响应、格式错误、毒性响应、事实不一致、敏感信息泄露、品牌风险响应等。
   • 输出质量测量：使用AI评分、验证器、毒性检测工具、幻觉检测等方法。
   • 失败管理：使用重试逻辑、并行调用、人工干预等方法。

4. 添加模型路由和网关：

   • 路由器：根据用户意图分类，将查询路由到适当的模型或解决方案。
   • 网关：统一访问不同模型，实现访问控制和成本管理，提供缓存和防护措施。

5. 减少延迟使用缓存：

   • 提示缓存：存储重复的文本段以供重用，减少处理时间。
   • 精确缓存：存储已处理的项目以供重用，避免重复操作。
   • 语义缓存：根据语义相似性重用类似查询的答案。

6. 添加复杂逻辑和动作执行：

   • 使用复杂逻辑和循环实现更复杂的流程。
   • 写动作：使系统能够对数据源和世界产生影响，如发送邮件、下订单等。

7. 可观察性：

   • 监控：使用指标、日志和跟踪来监控系统状态和模型性能。
   • 指标：跟踪系统、模型和各个步骤的性能。
   • 日志：记录系统配置、查询、输出和组件状态。
   • 跟踪：记录请求执行路径，包括时间、成本和组件调用。

8. AI管道编排：

   • 定义组件和链式（或管道）执行。
   • 集成现有组件，支持复杂的管道和条件逻辑。
   • 考虑集成、复杂性和易用性等因素。

9. 结论：

   • 平台构建是一个逐步增加组件的过程，每个组件都带来挑战和收益。
   • 分离组件以保持系统模块化和可维护性，但要注意组件之间的重叠和相互作用。