VICUNA开源人工智能模型！使用weib-ui来进行管理，本地电脑安装搭建ChatGPT

VICUNA是一个开源人工智能模型项目，对比最新一代的Chat GPT4.0, 已经达到了它90%的能力。并且，我们可以把它安装在自己的电脑上！

这篇文章讲的是，如何在自己的电脑上面安装开源的GPT模型VICUNA。除此之外，我们还将给GPT模型配置一个可视化界面 – OOBABOOGA！在上面可以聊天，训练，培养劳拉模型

这里会用到web ui，让我们获得一个友善的可视化界面，来使用和训练模型。

所有关于这个项目需要的硬件配置，信息和安装指示，都可以在git hub网站上获取。

GIT项目地址：https://github.com/lm-sys/FastChat

【错误提示】

1. 安装过程中途发生问题的，删除oobabooga-windows文件夹里面的installer_files文件夹。点击install.bat重新安装；
2. 出现Expecting value: line 1 column 1 (char 0)，通常是因为开了代理。把代理关闭，重新启动start-webui.bat
3. webui可以正常进入，但是聊天时，终端出现RuntimeError: CUDA out of memory。修改start-webui.bat文件，多加一个参数，但是这样回答速度会变慢：

说明：

1. WINDOWS操作系统， GPU或者CPU；
2. GPU,最好是Nvidia卡；
3. 预先安装了GIT；

GIT下载地址：https://git-scm.com/downloads

安装步骤：

1. 新建文件夹ChatGPT

D:\ChatGPT

2. 文本生成WEBUI, 下载“oobabooga-windows.zip”

下载地址：https://github.com/oobabooga/text-generation-webui

下载VICUNA模型：

下载地址：https://huggingface.co/anon8231489123/vicuna-13b-GPTQ-4bit-128g/tree/main

解压缩“oobabooga-windows.zip”

*** 运行install.bat文件； //D:\ChatGPT\oobabooga-windows，根据自己实际路径

*** 运行download-model.bat,可以下载模型(可选）；

打开D:\ChatGPT\oobabooga-windows\text-generation-webui\models（根据自己文件夹实际路径）， 在地址栏，输入powershell—→回车

git lfs install
git clone https://huggingface.co/anon8231489123/vicuna-13b-GPTQ-4bit-128g
GIT_LFT_SKIP_SMUDGE=1

编辑start-webui.bat文件：–wbits 4 –groupsize 128

整个文件：

@echo off

@echo Starting the web UI...

cd /D "%~dp0"

set MAMBA_ROOT_PREFIX=%cd%\installer_files\mamba
set INSTALL_ENV_DIR=%cd%\installer_files\env

if not exist "%MAMBA_ROOT_PREFIX%\condabin\micromamba.bat" (
call "%MAMBA_ROOT_PREFIX%\micromamba.exe" shell hook >nul 2>&1
)
call "%MAMBA_ROOT_PREFIX%\condabin\micromamba.bat" activate "%INSTALL_ENV_DIR%" || ( echo MicroMamba hook not found. && goto end )
cd text-generation-webui

call python server.py --auto-devices --cai-chat --wbits 4 --groupsize 128
:end
pause

双击start-webui.bat即可运行

关注公众号『窗外天空』

获取更多建站运营运维新知！
互联网创业、前沿技术......