大模型本地部署与微调

培训时长：2 天（15 课时）

课程介绍：

随着人工智能技术的飞速发展，大模型成为了推动自然语言处理、图像识别等众

多领域创新的关键。然而，如何高效地在本地环境中部署这些大型模型，并根据

特定需求对其进行微调，成为了企业和研究机构面临的重要挑战。

本课程旨在为学员提供从理论到实践的全面指导，帮助学员掌握大模型的本地部

署与微调技巧，从而能够将先进的 AI 技术应用到实际场景中。

学员基础：

⚫ 具备一定的 Python 编程经验

⚫ 对机器学习或深度学习有基本了解

⚫ 了解常见的深度学习框架（如 TensorFlow、PyTorch）

⚫ 已熟悉大模型相关基本概念

⚫ 对云计算有一定认识，了解虚拟化、容器化等概念

学后收获：

⚫ 理解大模型的特点及其对硬件资源的需求

⚫ 掌握多种大模型如 DeepSeek 的本地部署方法

⚫ 学会使用不同的工具和框架对大模型进行微调

⚫ 了解模型压缩技术，提高模型效率

⚫ 理解大模型的安全治理重要性及其实现方法

⚫ 能够独立完成大模型的部署与微调项目

课程内容：

模块 主要内容

大模型本地部署

 本地部署基础认知

◼ 为什么要进行本地部署

◼ 模型参数量与硬件资源

◆ 模型大小与计算资源的关系

◆ 不同规模模型的适用场景

 环境准备

◼ 必要的软件和库安装

◆ CUDA

◆ Python 虚拟环境

◆ Docker

◆ Pytorch

◆ Git

◼ 开发环境配置

模块 主要内容

 Ollama 快速部署大模型

◼ Ollama 平台介绍

◼ 一键部署流程

◼ 实战练习：使用 Ollama 部署 DeepSeek R1 大模型

 vLLM 生产级部署大模型

◼ vLLM 框架概述

◼ 部署步骤解析

◼ 实战练习：使用 vLLM 部署 DeepSeek R1 大模型

 开源大模型应用开发平台 Dify 本地部署

◼ Dify 平台特性

◼ Dify 适用场景

◼ 实战练习：基于 Dify 集成 DeepSeek

大模型微调

 大模型训练流程回顾

 什么是模型微调

◼ 微调的基本概念

◼ 微调的重要性

模块 主要内容

 微调方法

◼ 全参微调适用场景与风险控制

◼ 主流 PEFT 技术对比（LoRA/QLoRA/Adapter/P-Tuning）

 微调工具

◼ 流行的微调工具介绍

◆ Transformers

◆ MS-Swift

◆ Deep-Speed

◆ LLaMA-Factory

◼ 工具的选择与使用

 数据工程体系

 模型压缩（量化）

 模型蒸馏

◼ 模型蒸馏的基本原理

◼ 模型蒸馏的应用场景

◼ DeepSeek 模型蒸馏的实现过程解析

模块 主要内容

◼ 实战：DeepSeek 模型蒸馏实践

 大模型安全治理

◼ 为什么要进行安全治理

◼ RLHF 技术全景（PPO/DPO/CPO）

 微调模型评估

 实战

◼ 基于 Llama Factory 微调一个法律大模型

◼ 基于 DeepSpeed 大模型并行训练框架 LoRA 微调实践

◼ 基于 ms-swift LoRA 微调 Qwe*****1.5B 实践

课后赠送拓展课程（录播）

⚫ 《Linux 快速入门》

⚫ 《Docker 快速入门》

⚫ 《华为昇腾硬件部署与微调大模型》

⚫ 《基于 ComfyUI 本地部署 DeepSeek 开源多模态模型 Janus-Pro》