DeepSeek AI 大模型本地部署与微调
东方瑞通,IT职业认证+终身学习培训服务
培训时长:2 天(15 课时)
课程介绍:
随着人工智能技术的飞速发展,大模型成为了推动自然语言处理、图像识别等众
多领域创新的关键。然而,如何高效地在本地环境中部署这些大型模型,并根据
特定需求对其进行微调,成为了企业和研究机构面临的重要挑战。
本课程旨在为学员提供从理论到实践的全面指导,帮助学员掌握大模型的本地部
署与微调技巧,从而能够将先进的 AI 技术应用到实际场景中。
学员基础:
⚫ 具备一定的 Python 编程经验
⚫ 对机器学习或深度学习有基本了解
⚫ 了解常见的深度学习框架(如 TensorFlow、PyTorch)
⚫ 已熟悉大模型相关基本概念
⚫ 对云计算有一定认识,了解虚拟化、容器化等概念
学后收获:
⚫ 理解大模型的特点及其对硬件资源的需求
⚫ 掌握多种大模型如 DeepSeek 的本地部署方法
⚫ 学会使用不同的工具和框架对大模型进行微调
⚫ 了解模型压缩技术,提高模型效率
⚫ 理解大模型的安全治理重要性及其实现方法
⚫ 能够独立完成大模型的部署与微调项目
课程内容:
模块 主要内容
大模型本地部署
本地部署基础认知
◼ 为什么要进行本地部署
◼ 模型参数量与硬件资源
◆ 模型大小与计算资源的关系
◆ 不同规模模型的适用场景
环境准备
◼ 必要的软件和库安装
◆ CUDA
◆ Python 虚拟环境
◆ Docker
◆ Pytorch
◆ Git
◼ 开发环境配置
模块 主要内容
Ollama 快速部署大模型
◼ Ollama 平台介绍
◼ 一键部署流程
◼ 实战练习:使用 Ollama 部署 DeepSeek R1 大模型
vLLM 生产级部署大模型
◼ vLLM 框架概述
◼ 部署步骤解析
◼ 实战练习:使用 vLLM 部署 DeepSeek R1 大模型
开源大模型应用开发平台 Dify 本地部署
◼ Dify 平台特性
◼ Dify 适用场景
◼ 实战练习:基于 Dify 集成 DeepSeek
大模型微调
大模型训练流程回顾
什么是模型微调
◼ 微调的基本概念
◼ 微调的重要性
模块 主要内容
微调方法
◼ 全参微调适用场景与风险控制
◼ 主流 PEFT 技术对比(LoRA/QLoRA/Adapter/P-Tuning)
微调工具
◼ 流行的微调工具介绍
◆ Transformers
◆ MS-Swift
◆ Deep-Speed
◆ LLaMA-Factory
◼ 工具的选择与使用
数据工程体系
模型压缩(量化)
模型蒸馏
◼ 模型蒸馏的基本原理
◼ 模型蒸馏的应用场景
◼ DeepSeek 模型蒸馏的实现过程解析
模块 主要内容
◼ 实战:DeepSeek 模型蒸馏实践
大模型安全治理
◼ 为什么要进行安全治理
◼ RLHF 技术全景(PPO/DPO/CPO)
微调模型评估
实战
◼ 基于 Llama Factory 微调一个法律大模型
◼ 基于 DeepSpeed 大模型并行训练框架 LoRA 微调实践
◼ 基于 ms-swift LoRA 微调 Qwe*****1.5B 实践
课后赠送拓展课程(录播)
⚫ 《Linux 快速入门》
⚫ 《Docker 快速入门》
⚫ 《华为昇腾硬件部署与微调大模型》
⚫ 《基于 ComfyUI 本地部署 DeepSeek 开源多模态模型 Janus-Pro》