Skip to content

开源大模型部署、量化、vLLM、GraphRag简要介绍

License

Notifications You must be signed in to change notification settings

Clint-chan/cgft-Vllm-tutor

 
 

Repository files navigation

# 动手做大模型系列

⛰️ 动手做大模型系列 🎮

如果你在实操的过程中遇到问题,请在对应的视频下方留言。 如果复现遇到bug,请描述:

  1. 🎯 运行环境
  2. 🧩 对应的代码、日志和报错截图

如果你不太了解如何提出一个好问题,请花几分钟阅读一下这个,相信我,可能并不能改变什么🤫(不是)。
How-To-Ask-Questions-The-Smart-Way

🎨 视频及文档合集

🪁 1. 模块化知识介绍

序号 项目 代码文档 视频教程
1 使用llama-factory微调llama3 🏂 llama-factory 🤾‍♀️ Bilibili
🏊‍♀️ YouTube
2 llama.cpp进行轻量化部署和量化 🏂 llama-cpp 🤾‍♀️ Bilibili
🏊‍♀️ YouTube
3 Ollama大模型部署工具介绍 🏂 ollama 🤾‍♀️ Bilibili
🏊‍♀️ YouTube
4 vllm部署工具及paged attention 🏂 vllm 🤾‍♀️ Bilibili
🏊‍♀️ YouTube
5 llama-index实现RAG 🏂 llama-index 🤾‍♀️ Bilibili
🏊‍♀️ YouTube
6 graph-rag本地部署 🏂 graph-rag 🤾‍♀️ Bilibili
🏊‍♀️ YouTube
7 mkdocs+readthedocs部署项目文档 🏂 mkdocs 🤾‍♀️ Bilibili
🏊‍♀️ YouTube
8 function-calling 自动发邮件 🏂 function-calling 🤾‍♀️ Bilibili
🏊‍♀️ YouTube
9 大模型学习路径及面试 🏂 llm-roadmap 🤾‍♀️ Bilibili
🏊‍♀️ YouTube

🪂 2. kaggle大模型竞赛系列

序号 项目 代码文档 视频教程
1 kaggle快速入门 🏂 getting-started 🤾‍♀️ Bilibili
🏊‍♀️ YouTube

🛒 Roadmap (Beta)

相关内容交叉更新

  1. 模块化知识介绍
  • Basic RAG
  • GraphRAG
  • function calling
  • autogen
  1. llm常用python可视化框架
  • gradio
  • streamlit
  • chainlit
  1. kaggle系列
  • 快速入门
  • 热门竞赛算法
  1. AI应用系列
  • 聊天机器人

About

开源大模型部署、量化、vLLM、GraphRag简要介绍

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages

  • Jupyter Notebook 96.5%
  • Python 3.2%
  • Shell 0.3%