使用GPT一段时间了，也尝试了FastGPT搭建自由知识库，于是刚好科科给了台GPU服务器可以测试一下了。

搭建参考Run Qwen-7B-QAnything using FastChat API with vllm runtime backend

主要命令如下：

# 下载QAnything程序
cd /opt
git clone https://github.com/netease-youdao/QAnything.git

# 下载models文件
cd /opt/QAnything/
mkdir tmp ; cd tmp
git lfs install
git clone https://www.modelscope.cn/netease-youdao/QAnything.git
unzip QAnything/models.zip
cd - && mv tmp/models .

# 下载附加文件
cd /opt/QAnything/assets/custom_models
git clone https://www.modelscope.cn/netease-youdao/Qwen-7B-QAnything.git

# 启动程序（会自动下载容器镜像）
cd /opt/QAnything
bash ./run.sh -c local -i 0 -b hf -m Qwen-7B-QAnything -t qwen-7b-qanything

运行截图

测试截图

遇到报错，重启

如果PDF资料是图片，那么无法解析，可以尝试本地foxitreader ocr识别或者wps等软件处理

总结：
在自建私有大模型（不知道是不是可以这样叫），主要有FastGPT和QAnything，前者可以作为知识库和QA，后者只是QA会好一些。