搭建本地大模型和知识库最简单的方法

01、本地大模型越来越简单

经过了一年多时间的迭代,大模型种类繁多,使用也越来越简单了。

在本地跑大模型,个人认为目前最好的软件肯定是Ollama无疑了,

不管你是在PC上跑大模型,在Mac上跑大模型,还有在树莓派上跑大模型,

我们都可以用Ollama去跑各种大大小小的模型,而且它的扩展性非常强。

02、Ollama本地运行大模型

现在安装Ollama超级简单的,只需要进入 Ollama官网下载 安装包,然后安装即可。

以下是我个人安装为例(macOS系统):

  • 1、下载
ollama下载
  • 2、安装
ollama安装

直接点击Next:

ollama安装命令
  • 3、命令查看
版本和使用的命令查看
  • 4、运行
启动运行
  • 其他说明

如果自己不确定模型名称可以去官网查看 模型

模型查询

每款大模型都有不同版本,根据自己的机器来选择,根据官网的文档也说明了,一般7B的模型至少需要8G的内存,13B的模型至少需要16G内存,70B的模型至少需要64G内存。

内存需求

03、使用Web UI界面连接Ollama

ollama没有界面化的页面使用,它是在终端里交互的,所有我们要使用图形化的界面里去操作,这是我们可以使用Open WebUI。

Open WebUI是一个开源的Web UI界面,github地址:https://github.com/open-webui/open-webui

  • 1、下载和运行

使用Docker方式运行Open WebUI,直接一条命令解决下载和运行:

open-webui启动命令
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

命令解释:

  • -d:后台运行
  • -p 3000:8080:将容器的8080端口映射到主机的3000端口
  • --add-host=host.docker.internal:host-gateway:添加主机映射,用于访问主机的Docker容器
  • -v open-webui:/app/backend/data:将主机的open-webui目录映射到容器的/app/backend/data目录
  • --name open-webui:设置容器名称
  • --restart always:设置容器总是重启
  • ghcr.io/open-webui/open-webui:main:镜像地址

启动日志:

open-webui启动日志

注意:open-webui启动时有点慢,需要等待一会。可以通过docker logs open-webui查看日志。红框的可以不用理会。

  • 2、注册

第一次使用时需要进行注册,这个数据都是本地存储。

open-webui注册
  • 3、登录
open-webui登录
  • 4、open-webui使用界面
open-webui界面
  • 4、设置
open-webui设置界面
  • 5、模型选择
open-webui模型选择

04、本地化知识库

1、open-webui界面文档设置

open-webui文档设置

2、加载网页或者文档

在对话窗口通过#+链接加载网页,通过对话框的+上传文件,也可以在文档中导入。

open-webui文档或者网页加载

如果对知识库有更高的需求,可以使用AnythingLLM这个软件,github地址:https://github.com/Mintplex-Labs/anything-llm