使用大型语言模型（LLMs）、检索增强生成（RAG）

- 视频格式：MP4 | 视频编码：h264，分辨率1920×1080 | 音频编码：AAC，采样率44.1 KHz，双声道

- 语言：英语 | 时长：6小时08分钟 | 大小：3.38 GB

- 课程简介：使用大型语言模型（LLMs）、检索增强生成（RAG）、智能体和全栈工程实践，构建可投入生产的生成式人工智能系统。

- 学习内容：

  - 设计和构建基于大型语言模型（LLMs）、Transformer、嵌入技术和现代AI架构的可投入生产的生成式AI系统。

  - 实现检索增强生成（RAG）流水线，将大型语言模型与外部知识相结合，减少幻觉现象，打造企业级AI应用。

  - 利用工具调用、多步骤推理、记忆功能和人机协同控制，开发自主智能体AI系统。

  - 集成FastAPI后端、流式聊天界面、前端用户体验模式和有状态记忆管理，创建全栈大型语言模型应用程序。

  - 通过令牌优化、缓存策略、模型选择权衡和负载管理技术，优化AI系统的成本、延迟和可扩展性。

  - 使用人工和自动化评估方法评估和监控大型语言模型的输出，确保准确性、相关性和真实性。

  - 应用安全、安全和治理最佳实践，实施防护措施、输出过滤、基于策略的控制和负责任的AI框架。

- 前置要求：

  - 具备基础编程知识（首选Python，但无需达到专家水平）

  - 对API或Web应用程序有大致了解（有帮助，但非必需）

  - 对AI充满好奇，愿意动手构建项目

- 课程描述：本课程包含人工智能的应用内容。这是一门专为全栈AI工程师设计的全面、实践导向的生成式AI和大型语言模型（LLMs）课程。与仅涉及高层理论的课程不同，本课程专注于现代AI系统在生产环境中实际的构建、部署、优化和治理方式。你将超越简单的提示词实验，学习如何利用大型语言模型、嵌入技术、检索、智能体、工具和全栈应用架构，设计可靠、可扩展且适合企业使用的AI系统。课程的每个部分都包含循序渐进的实践实验，确保你不仅理解概念，还能通过真实代码实现这些概念。

- 课程模块：

  - 模块1——生成式AI入门：通过理解生成式AI与判别式模型的区别、生成式系统的重要性以及它们在企业软件、医疗保健、金融和航空等真实行业中的应用，建立坚实的概念基础。实践实验：比较判别式模型与生成式模型，使用基于Transformer的模型生成文本，并绘制真实世界中生成式AI的应用场景。

  - 模块2——Transformer架构与大型语言模型基础：揭开Transformer的工作原理，包括自注意力机制、位置编码以及编码器与解码器架构。你还将探索令牌化、嵌入技术、上下文窗口，以及大型语言模型如何通过预训练、微调、指令调优和基于人类反馈的强化学习（RLHF）进行训练。实践实验：实现自注意力概念，可视化令牌化和嵌入过程，并在高层模拟大型语言模型的训练流程。

  - 模块3——大型语言模型实践：亲手实践热门的大型语言模型系列，包括GPT、Claude、Gemini、LLaMA、Mistral和Falcon，并学习如何根据质量、成本、延迟和应用场景要求选择合适的模型。实践实验：构建多模型评估工具，测试幻觉现象和偏见，并使用温度参数、核采样（top-p）和最大令牌数等参数集成大型语言模型API。

  - 模块4——工程师的提示词工程：将提示词工程作为软件工程学科进行教学，涵盖系统、用户和助手角色，零样本、单样本和少样本提示技术，以及思维链、自一致性和基于约束的提示等高级技术。实践实验：设计稳健的提示词模板，防范提示词注入攻击，并为安全提示实现输入/输出验证。

  - 模块5——嵌入技术与语义搜索：学习向量嵌入如何表示语义，余弦相似度和点积的工作原理，以及如何使用分块策略、嵌入生成和基于相似度的检索构建语义搜索流水线。实践实验：使用FAISS和Chroma构建语义搜索系统，比较不同的分块策略，并评估检索准确性。

  - 模块6——检索增强生成（RAG）：学习如何通过RAG架构、文档摄入流水线、检索器-生成器流程和上下文窗口管理，将大型语言模型与外部知识相结合，消除幻觉现象。实践实验：构建完整的RAG流水线，实现混合搜索，应用重排序策略，并进行带引用的多文档推理。

  - 模块7——工具调用与基于函数的大型语言模型：学习如何通过函数调用、结构化JSON输出和基于API的工具，让大型语言模型与真实系统交互，使模型能够采取有意义的行动。实践实验：构建使用工具的智能体，实现无状态和有状态工具，添加验证和错误处理，并创建具有可观测性的多步骤工具链。

  - 模块8——智能体AI系统：专注于构建具有规划、记忆、执行和自我修正能力的自主AI智能体，采用ReAct、规划器-执行器和多智能体系统等架构。实践实验：构建自主智能体，实现长期记忆，支持任务分解，并添加人机协同（HITL）控制。

  - 模块9——全栈大型语言模型应用开发：学习如何将AI集成到真实应用中，使用基于FastAPI的后端、流式响应和前端聊天界面，同时管理跨会话的状态、记忆和上下文。实践实验：构建带有流式聊天、会话记忆、持久存储和上下文修剪策略的全栈大型语言模型应用程序。

  - 模块10——评估、成本与性能优化：学习如何通过人工和自动化评估、准确性、相关性和真实性指标来衡量和优化AI系统，以及如何通过令牌优化、缓存和模型路由降低成本。实践实验：构建评估工具，实现响应缓存，比较不同的模型层级，并进行延迟和负载测试。

  - 模块11——伦理、安全与负责任的AI：学习如何通过防护措施、输出过滤、基于策略的控制和企业治理框架，负责任地部署AI，确保安全性、合规性和可信度。实践实验：实施安全防御、提示词注入保护、输出验证和适合企业使用的AI治理流程。

- 课程成果：课程结束时，你将能够：构建可投入生产的生成式AI系统；设计稳健的提示词和智能体架构；实现RAG流水线和语义搜索；开发全栈大型语言模型应用程序；优化成本、延迟和可扩展性；部署安全、合规的企业级AI。

- 解压密码：0daydown

###