隨著大語(yǔ)言模型的廣泛應(yīng)用，如何在低成本硬件上實(shí)現(xiàn)高性能、高并發(fā)的本地化部署成為關(guān)鍵需求。vLLM是一個(gè)開(kāi)源的大語(yǔ)言模型推理庫(kù)，它能夠顯著提升大語(yǔ)言模型推理的速度和效率，讓開(kāi)發(fā)者可以更高效地部署和運(yùn)行大語(yǔ)言模型，尤其對(duì)于多GPU跑LLM的優(yōu)化表現(xiàn)突出。在Linux操作系統(tǒng)，Intel在vLLM上提供完整的打包步驟和鏡像，方便用戶(hù)進(jìn)行本地部署大模型，支持多用戶(hù)多并發(fā)，性能優(yōu)異。
在眾多大模型里，DeepSeek-R1-32B在數(shù)學(xué)推理、代碼生成與邏輯分析等場(chǎng)景表現(xiàn)尤為突出，實(shí)測(cè)性能接近 70B 級(jí)別模型，成為目前DeepSeek蒸餾模型中的理想優(yōu)選！
而阿里Qwen團(tuán)隊(duì)發(fā)布的QwQ-32B大語(yǔ)言模型，一經(jīng)推出便廣受關(guān)注，在測(cè)試數(shù)學(xué)能力的AIME24評(píng)測(cè)集上，以及評(píng)估代碼能力的LiveCodeBench中，QwQ-32B表現(xiàn)與DeepSeek-R1相當(dāng)，遠(yuǎn)勝于o1-mini及相同尺寸的R1蒸餾模型。可以說(shuō)，QwQ-32B模型是目前業(yè)界表現(xiàn)更為突出、被廣泛運(yùn)用的強(qiáng)悍選擇。下面就跟大家詳細(xì)介紹如何通過(guò)Intel在vLLM上提供的完整打包方案和鏡像本地部署DeepSeek 32B和QWQ 32B模型。本地部署32B模型前，需先確認(rèn)本機(jī)具備至少20G顯存以確保充分發(fā)揮性能，此次演示使用的配置為：
（以上整機(jī)配置成本僅約11720元起，具備更強(qiáng)的性?xún)r(jià)比優(yōu)勢(shì)）
本地部署DeepSeek 32B模型具體步驟：
1、確認(rèn)OS版本為：Ubuntu 22.04 + Intel Out-of-Tree GPU drivers.
2、在BIOS設(shè)置中，找到“PCI Express Configuration”并且打開(kāi)“PCIE Resizable BAR Support”
3、進(jìn)行UBUNTU安裝：
1）安裝Ubuntu22.04.1+Kernel 6.5.0-35-generic
—下載https://old-releases.ubuntu.com/releases/22.04.1/ubuntu-22.04.1 desktop-amd64.iso
—使用燒錄工具 (比如rufus) 來(lái)創(chuàng)建U-Disk
—安裝Ubuntu
—確保網(wǎng)絡(luò)可以正常使用
2）安裝 Intel Out-of-Tree GPU driver
· # Install the Intel graphics GPG public key
· wget -q0 - https://repositories.intel.com/gpu/intel-graphics.key |
· sudo gpg --yes --dearmor --output /usr/share/keyrings/intel-graphics.gpg
· # Configure the repositories.intel.com package repository
· echo "deb [arch=amd64,i386 signed-by=/usr/share/keyrings/intel graphics.gpg] https://repositories.intel.com/gpu/ubuntu jammy unified" |
· sudo tee /etc/apt/sources.list.d/intel-gpu-jammy.list
· # Update the package repository metadata
· sudo apt update
· sudo apt install -y intel-i915-dkms intel-fw-gpu
3）Configuring Render Group Membership
· sudo gpasswd -a ${USER} render
· sudo reboot
4）驗(yàn)證Intel® Arc™ A770 PCIe Configuration Space
· #List the VGA device PCIe bus address to confirm 2x A770s are detected
· sudo lspci | grep -i vga
o 03:00.0 VGA compatible controller: Intel Corporation Device 56a0 (rev 08)
o 04:00.0 VGA compatible controller: Intel Corporation Device 56a0 (rev 08)
· sudo lspci -s 03:00.0 -vvv
· #You should see an output as following:
o Capabilities: [420 v1] Physical Resizable BAR
· BAR 2: current size: 16GB, supported: 256MB 512MB 1GB 2GB 4GB 8GB 16GB
5）Install Docker – 或參考https://docs.docker.com/engine/install/ubuntu/
· # Add Docker's official GPG key:
· sudo apt-get update
· sudo apt-get install ca-certificates curl
· sudo install -m 0755 -d /etc/apt/keyrings
· sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
· sudo chmod a+r /etc/apt/keyrings/docker.asc
· # Add the repository to Apt sources:
· echo
· "deb [arch=$(dpkg --print-architecture) signed- by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu
· $(. /etc/os-release && echo "${UBUNTU_CODENAME:-$VERSION_CODENAME}") stable" |
· sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
· sudo apt-get update
· sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx plugin docker-compose-plugin
4、Huggingface 下載 32B-AWQ 模型
1）訪問(wèn)
https://huggingface.co/Valdemardi/DeepSeek-R1-Distill-Qwen-32B-AWQ
2）下載模型到文件目錄/model（如果沒(méi)有該目錄，請(qǐng)?jiān)趓oot模式下創(chuàng)建/model）
3）所有鏡像和腳本，已經(jīng)打包上傳到百度網(wǎng)盤(pán)：通過(guò)網(wǎng)盤(pán)分享的文件：model.zip 鏈接: https://pan.baidu.com/s/1a019IPXap5OmnPM9WICwBg?pwd=mp8w 提取碼: mp8w
5、載入鏡像
1）載入Intel提供的LLM后端鏡像：
—把ipex-llm-serving.tar.gz 拷貝到本機(jī)
—加載docker鏡像：sudo docker load -i ipex-llm-serving.tar.gz
2）載入Intel提供的前端鏡像：
—把openwebui.tar.gz 拷貝到本機(jī)
—加載docker鏡像：sudo docker load -i openwebui.tar.gz
3）確認(rèn)鏡像加載成功：加載成功后sudo docker images 應(yīng)該出現(xiàn)以下打印：
6、啟動(dòng)容器Pod
1）啟動(dòng)后端容器：
—把create-llm.sh 拷貝到本機(jī)
—啟動(dòng)腳本：sudo bash create-llm.sh
—如果第一次創(chuàng)建，那么將會(huì)有打印，這是正常現(xiàn)象：Error response from daemon: No such container: llm-backend
—確認(rèn)pod已經(jīng)啟動(dòng)：
2）啟動(dòng)前端容器：
—把create-ui.sh 拷貝到本機(jī)
—啟動(dòng)腳本：sudo bash create-ui.sh
—如果第一次創(chuàng)建，那么將會(huì)有打印，這是正常現(xiàn)象：Error response from daemon: No such container: llm-frontend
—確認(rèn)pod已經(jīng)啟動(dòng)：
7、啟動(dòng)應(yīng)用
1）啟動(dòng)后端應(yīng)用：
—新建shell窗口，執(zhí)行命令docker exec -it llm-backend bash /model/ds.sh
—程序開(kāi)始后等待約數(shù)分鐘，出現(xiàn)如下打印為正常啟動(dòng)：
2）啟動(dòng)前端應(yīng)用：
—前端應(yīng)用為容器自啟動(dòng)，執(zhí)行命令docker logs llm-frontend，出現(xiàn)下圖的打印為已經(jīng)啟動(dòng)：
3）在啟動(dòng)完前后端后，需要手動(dòng)設(shè)置顯存頻率和CPU頻率：
— 設(shè)置CPU頻率，以Ultra 7 265K為例
cpupower frequency-set -d 3.9GHz
—設(shè)置顯存頻率
xpu-smi config -d 0 -t 0 --frequencyrange 2400,2400
xpu-smi config -d 1 -t 0 --frequencyrange 2400,2400
10、交互
1）圖形界面打開(kāi)firefox瀏覽器，輸入地址127.0.0.1:8080，跳轉(zhuǎn)本地前端頁(yè)面：
Email填寫(xiě)admin@intel.com, Password填寫(xiě)admin完成登錄，如果界面是注冊(cè)界面，則按照個(gè)人偏好完成管理員注冊(cè)即可。
2）如果后端服務(wù)正常，在登陸后會(huì)在左上角下拉菜單里看到啟動(dòng)的模型，點(diǎn)擊模型名稱(chēng)應(yīng)用該模型：
完成以上操作啟用對(duì)應(yīng)模型，輸入Prompt即可進(jìn)行推理及內(nèi)容輸出。
如果需要進(jìn)行QwQ-32B-AWQ模型的本地部署，只需要基于以上步驟的基礎(chǔ)，進(jìn)行3步操作：
1）下載QwQ-32B-AWQ模型
https://huggingface.co/Qwen/QwQ-32B-AWQ，下載完成后將模型放在/model下
2）修改ds.sh
3）啟動(dòng)后端，選擇模型名稱(chēng)應(yīng)用該模型
以下為MS-iCraft Z890 Pacific搭載雙Intel Arc A770顯卡運(yùn)行DeepSeek-R1-Distill-Qwen-32B和QwQ-32B-AWQ的實(shí)機(jī)截圖，實(shí)測(cè)輸出Token數(shù)為27.2/S，充分滿足日常工作需求。
（QwQ-32B-AWQ運(yùn)行速度實(shí)機(jī)截圖）
（DeepSeek-R1-Distill-Qwen-32B運(yùn)行速度實(shí)機(jī)截圖）
相較于Windows版本，通過(guò)Linux vLLM方案進(jìn)行大模型的本地部署在多并發(fā)優(yōu)化和多卡優(yōu)化性能上有明顯優(yōu)勢(shì)。基于vLLM的后端服務(wù)框架，能打造一個(gè)支持20路并發(fā)請(qǐng)求，單路推理速度達(dá)10+tokens/s的企業(yè)AI私有云，支持局域網(wǎng)內(nèi)的所有用戶(hù)同時(shí)訪問(wèn)。推薦銘瑄Z890主板搭配雙Intel Arc A770顯卡，打造萬(wàn)元級(jí)高配性?xún)r(jià)比整機(jī)方案，實(shí)現(xiàn)AI推理、內(nèi)容輸出高效流暢。
作為iCraft系列下的明星產(chǎn)品，MS-iCraft Z890 Pacific和MS-iCraft Z890 Arctic創(chuàng)新配備一塊3.4英寸銳影LED顯示屏，支持多種模式設(shè)置，除了可實(shí)時(shí)顯示系統(tǒng)信息、個(gè)性化開(kāi)關(guān)機(jī)畫(huà)面外，還可開(kāi)啟桌面映射，同步顯示專(zhuān)屬畫(huà)面或影像。供電方面，采用16+1+1相Dr.MOS直出供電，充分發(fā)揮CPU潛能。內(nèi)存方面，配備4*高速DDR5內(nèi)存插槽，超頻沖擊8800MHz，同時(shí)8層服務(wù)器級(jí)低損耗PCB和背鉆工藝能有效降低信號(hào)損耗、增強(qiáng)信號(hào)完整性、助力DDR5高速傳輸。
快來(lái)選擇一款銘瑄Z890主板，充分發(fā)揮性能潛力，讓 32B 大模型的推理效率與并發(fā)能力突破極限吧！
