东方瑞通教育

大模型本地部署与微调

零基础教学 随到随学 专业提升班 免费教材 面授教学
课程内容 DeepSeek AI 大模型本地部署与微调
课程亮点
适用人群
目标收获

DeepSeek AI 大模型本地部署与微调

学费
请询价
获取底价
加微信咨询
冯老师 @东方瑞通教育
微信号:150******60

东方瑞通,IT职业认证+终身学习培训服务

微信咨询
课程详情

培训时长:2 天(15 课时)

课程介绍:

随着人工智能技术的飞速发展,大模型成为了推动自然语言处理、图像识别等众

多领域创新的关键。然而,如何高效地在本地环境中部署这些大型模型,并根据

特定需求对其进行微调,成为了企业和研究机构面临的重要挑战。

本课程旨在为学员提供从理论到实践的全面指导,帮助学员掌握大模型的本地部

署与微调技巧,从而能够将先进的 AI 技术应用到实际场景中。

学员基础:

⚫ 具备一定的 Python 编程经验

⚫ 对机器学习或深度学习有基本了解

⚫ 了解常见的深度学习框架(如 TensorFlow、PyTorch)

⚫ 已熟悉大模型相关基本概念

⚫ 对云计算有一定认识,了解虚拟化、容器化等概念

学后收获:

⚫ 理解大模型的特点及其对硬件资源的需求

⚫ 掌握多种大模型如 DeepSeek 的本地部署方法

⚫ 学会使用不同的工具和框架对大模型进行微调

⚫ 了解模型压缩技术,提高模型效率

⚫ 理解大模型的安全治理重要性及其实现方法

⚫ 能够独立完成大模型的部署与微调项目

课程内容:

模块 主要内容

大模型本地部署

 本地部署基础认知

◼ 为什么要进行本地部署

◼ 模型参数量与硬件资源

◆ 模型大小与计算资源的关系

◆ 不同规模模型的适用场景

 环境准备

◼ 必要的软件和库安装

◆ CUDA

◆ Python 虚拟环境

◆ Docker

◆ Pytorch

◆ Git

◼ 开发环境配置

模块 主要内容

 Ollama 快速部署大模型

◼ Ollama 平台介绍

◼ 一键部署流程

◼ 实战练习:使用 Ollama 部署 DeepSeek R1 大模型

 vLLM 生产级部署大模型

◼ vLLM 框架概述

◼ 部署步骤解析

◼ 实战练习:使用 vLLM 部署 DeepSeek R1 大模型

 开源大模型应用开发平台 Dify 本地部署

◼ Dify 平台特性

◼ Dify 适用场景

◼ 实战练习:基于 Dify 集成 DeepSeek

大模型微调

 大模型训练流程回顾

 什么是模型微调

◼ 微调的基本概念

◼ 微调的重要性

模块 主要内容

 微调方法

◼ 全参微调适用场景与风险控制

◼ 主流 PEFT 技术对比(LoRA/QLoRA/Adapter/P-Tuning)

 微调工具

◼ 流行的微调工具介绍

◆ Transformers

◆ MS-Swift

◆ Deep-Speed

◆ LLaMA-Factory

◼ 工具的选择与使用

 数据工程体系

 模型压缩(量化)

 模型蒸馏

◼ 模型蒸馏的基本原理

◼ 模型蒸馏的应用场景

◼ DeepSeek 模型蒸馏的实现过程解析

模块 主要内容

◼ 实战:DeepSeek 模型蒸馏实践

 大模型安全治理

◼ 为什么要进行安全治理

◼ RLHF 技术全景(PPO/DPO/CPO)

 微调模型评估

 实战

◼ 基于 Llama Factory 微调一个法律大模型

◼ 基于 DeepSpeed 大模型并行训练框架 LoRA 微调实践

◼ 基于 ms-swift LoRA 微调 Qwe*****1.5B 实践

课后赠送拓展课程(录播)

⚫ 《Linux 快速入门》

⚫ 《Docker 快速入门》

⚫ 《华为昇腾硬件部署与微调大模型》

⚫ 《基于 ComfyUI 本地部署 DeepSeek 开源多模态模型 Janus-Pro》

上课校区(1)
相关课程

信息系统项目管理师

  • 小班
  • 任意时段
请询价

软考高级-系统架构设计师课程

  • 小班
  • 任意时段
请询价

软考中级-软件评测师课程

  • 小班
  • 任意时段
请询价
接下来要看
电话
在线
加微信
预约试听
我是在线客服顾问,有什么可以帮您?
400-029-0997
选择试听课程
全部
大模型本地部署与微调
  • 小班 |
  • 任意时段,全日制,白天班,晚班,周六周日 |
  • 请咨询
请询价
确定
预约成功
预约详情可在「我的-咨询预约」中查看
机构稍后会通过电话或微信和您联系,敬请留意
预约信息
试听课程:

全日制会计非就业班企业人力资源管理师企业人力资源管理师

试听校区:
章丘分校
章丘区数码港大厦山大路47号历下区历下区历下区
我知道了
权益领取成功,请尽快到机构使用
权益详情可在“我的—权益”中查看 查看我的权益