企业级大模型落地一：基于VLLM和LiteLLM落地私有化大模型
课程详情
课程标题
企业级大模型落地一：基于VLLM和LiteLLM落地私有化大模型适合人群
- 想要学习VLLM和LiteLLM的
- 想要实现私有化大模型从零落地的
- 想要学习大模型基础知识的
你将会学到
使用VLLM和LiteLLM从零落地私有化大模型，实现大模型智能管理课程简介
课程包含：- 大模型私有化部署理论与规划：
- 私有化部署的核心优势
- 主流私有化推理框架（如 vLLM、Ollama 等）横向对比
- vLLM 推理加速原理及适用场景详解
- AI 原生网关 LiteLLM 的功能定位介绍
- 企业级大模型私有化部署的标准作业流程
- 大模型显存占用计算公式
- 服务器环境搭建与基础配置：
- Linux 服务器 GPU 驱动安装与 CUDA 环境配置
- Docker 容器化环境安装与基础配置
- 大模型权重文件的下载与管理
- vLLM 高性能推理引擎实战：
- vLLM 启动参数及Compose配置解析
- vLLM 快速上手体验与接口测试
- 模型上下文窗口（Context Window）配置与优化
- API Key 访问控制
- RAG 核心组件部署：Embedding（向量化）模型部署
- RAG 核心组件部署：Reranker（重排序）模型部署
- LiteLLM AI 网关管理与运维：
- LiteLLM 网关的快速部署与核心功能详解
- 多厂商/多模型统一接入与维护
- 虚拟 API Key 生成、权限隔离与流量控制
- 请求日志追踪、监控
- 企业级团队管理与用户权限管理
- Token消耗统计、成本核算与预算限制设置
课程目录
01 大模型私有化部署课程介绍 01 课程介绍.mp4 02 大模型私有化部署必备理论基础 01 为什么需要私有化部署大模型？.mp4 02 私有化部署大模型推理框架对比.mp4 03 VLLM介绍及应用场景.mp4 04 AI原生网关Litellm介绍.mp4 03 大模型私有化部署环境准备 01 模型私有化部署流程.mp4 02 模型部署显存占用计算方法.mp4 03 GPU机器准备.mp4 04 GPU驱动安装.mp4 05 Docker安装与配置.mp4 06 模型文件下载.mp4 04 大模型私有化必备推理框架VLLM实践 01 VLLM启动配置解析.mp4 02 VLLM模型部署初体验.mp4 03 VLLM控制模型显存使用率.mp4 04 VLLM多卡启动及注意事项.mp4 05 VLLM配置模型上下文.mp4 06 VLLM配置访问密钥API Key.mp4 07 VLLM部署Embedding模型.mp4 08 VLLM部署Reranker模型.mp4 05 大模型私有化部署必备AI网关LiteLLM实践 01 AI网关LiteLLM部署.mp4 02 AI网关LiteLLM功能详解.mp4 03 LiteLLM维护不同供应商模型方法.mp4 04 LiteLLM虚拟API Key管理.mp4 05 LiteLLM日志记录功能.mp4 06 LiteLLM团队管理权限隔离.mp4 07 LiteLLM团队用户权限管理.mp4 08 LiteLLM成本管理与限制.mp4
