基于vLLM框架进行本地大模型部署
更多中文H小说尽在hlib.cc。
可以关注黎明卿的p站号https://www.pixiv.net/users/115632472
更多中文H小说尽在hlib.cc。
感谢大家关注点赞评论收藏喵～
更多中文H小说尽在hlib.cc。
最喜欢大家了喵～ 以上内容来自hlib.cc。更多中文H小说尽在hlib.cc。
更多中文H小说尽在hlib.cc。
更多中文H小说尽在hlib.cc。
说起来，嘛~对于不会本地部署又想玩瑟瑟ai的小伙伴们可以试试看，
更多中文H小说尽在hlib.cc。
在线直接就能玩
更多中文H小说尽在hlib.cc。
htt【删掉这几个字】ps://www.fanbox.cc/@a123456789/posts/9679961 以上内容来自hlib.cc。更多中文H小说尽在hlib.cc。
更多中文H小说尽在hlib.cc。
然后咱们开始正题
更多中文H小说尽在hlib.cc。
更多中文H小说尽在hlib.cc。
一、前置条件
更多中文H小说尽在hlib.cc。
（1）Linux 操作系统； 以上内容来自hlib.cc。更多中文H小说尽在hlib.cc。
更多中文H小说尽在hlib.cc。
更多中文H小说尽在hlib.cc。
（2）GPU：NVIDIA CUDA（最优选）；AMD ROCm（不推荐）；Intel XPU（不推荐）。极不推荐使用CPU 部署vLLM ，因为 vLLM 依赖 GPU 的并行计算和高速显存访问，CPU 无法提供所需性能，推理会极度缓慢。
更多中文H小说尽在hlib.cc。
更多中文H小说尽在hlib.cc。
Question：大多数人的工作电脑都是Windows 系统，如何在Windows 系统下运行Linux系统呢？ 以上内容来自hlib.cc。更多中文H小说尽在hlib.cc。
更多中文H小说尽在hlib.cc。
更多中文H小说尽在hlib.cc。
Answer：（1）在Windows 上安装WSL（Windows subsystem for Linux）；（2）安装虚拟机VMware，随后在虚拟机上安装需要的Linux系统（一般选择Ubuntu）。
更多中文H小说尽在hlib.cc。
更多中文H小说尽在hlib.cc。
Question：如何选择？ 以上内容来自hlib.cc。更多中文H小说尽在hlib.cc。
更多中文H小说尽在hlib.cc。
更多中文H小说尽在hlib.cc。
Answer：WSL 是轻量、快速、集成度高的 Linux 子系统，适合开发和日常使用；而传统虚拟机是完全独立的虚拟环境，更适合需要完整系统隔离和多系统并行的场景。做系统层面开发、虚拟化测试，虚拟机更专业。做软件开发、部署模型，WSL 轻便快速更专业。
更多中文H小说尽在hlib.cc。
更多中文H小说尽在hlib.cc。
二、如何在windows系统上安装WSL呢？ 以上内容来自hlib.cc。更多中文H小说尽在hlib.cc。
更多中文H小说尽在hlib.cc。
更多中文H小说尽在hlib.cc。
以管理员身份运行终端并执行如下命令：
更多中文H小说尽在hlib.cc。
更多中文H小说尽在hlib.cc。
（1）wsl --install；（2）wsl --install -d Ubuntu -20.04。随后设置用户名和密码即可。 以上内容来自hlib.cc。更多中文H小说尽在hlib.cc。
更多中文H小说尽在hlib.cc。
更多中文H小说尽在hlib.cc。
接着需要在WSL 中启动的Ubuntu环境里安装Miniconda，使用如下命令：
更多中文H小说尽在hlib.cc。
更多中文H小说尽在hlib.cc。
（1）wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh 以上内容来自hlib.cc。更多中文H小说尽在hlib.cc。
更多中文H小说尽在hlib.cc。
（2）bash Miniconda3-latest-Linux-x86_64.sh；
更多中文H小说尽在hlib.cc。
（3）source ~/.bashrc；
更多中文H小说尽在hlib.cc。
（4）输入conda -V查看conda是否安装成功。
更多中文H小说尽在hlib.cc。
以上内容来自hlib.cc。更多中文H小说尽在hlib.cc。
更多中文H小说尽在hlib.cc。
三、如何部署在WSL中启动的Ubuntu系统安装vllm框架？
更多中文H小说尽在hlib.cc。
更多中文H小说尽在hlib.cc。
（1）创建虚拟环境并激活（要求python：3.9-3.12）conda create -n vllm python=3.12 -y；conda activate vllm
更多中文H小说尽在hlib.cc。
（2）在虚拟环境中安装vllm pip install vllm 以上内容来自hlib.cc。更多中文H小说尽在hlib.cc。
更多中文H小说尽在hlib.cc。
（3）使用vllm --version 查看是否成功
更多中文H小说尽在hlib.cc。
四、如何使用vLLM启动LLM呢？
更多中文H小说尽在hlib.cc。
（1）在modelscope社区手动下载，或者使用命令下载：
更多中文H小说尽在hlib.cc。
Pip install modelscope ; 以上内容来自hlib.cc。更多中文H小说尽在hlib.cc。
更多中文H小说尽在hlib.cc。
modelscope download --model Qwen/Qwen2.5-VL-7B-Instruct --local_dir ./dir