共计 1459 个字符，预计需要花费 4 分钟才能阅读完成。
电脑环境如下:
系统: windows11
CPU 显卡: AMD5700G + RTX3060TI G6X
内存: 32G 3200
硬盘: 2T 固态 NVM2
首先下载安装 Ollama，访问下面的链接并下载相应的系统版本
Linux 系统安装脚本如下:
curl -fsSL https://ollama.com/install.sh | shOllama 模型说明
| Model | 参数 | 大小 | 下载 |
|---|---|---|---|
| Llama 3 | 8B | 4.7GB | ollama run llama3 |
| Llama 3 | 70B | 40GB | ollama run llama3:70b |
| Phi 3 Mini | 3.8B | 2.3GB | ollama run phi3 |
| Phi 3 Medium | 14B | 7.9GB | ollama run phi3:medium |
| Gemma | 2B | 1.4GB | ollama run gemma:2b |
| Gemma | 7B | 4.8GB | ollama run gemma:7b |
| Mistral | 7B | 4.1GB | ollama run mistral |
| Moondream 2 | 1.4B | 829MB | ollama run moondream |
| Neural Chat | 7B | 4.1GB | ollama run neural-chat |
| Starling | 7B | 4.1GB | ollama run starling-lm |
| Code Llama | 7B | 3.8GB | ollama run codellama |
| Llama 2 Uncensored | 7B | 3.8GB | ollama run llama2-uncensored |
| LLaVA | 7B | 4.5GB | ollama run llava |
| Solar | 10.7B | 6.1GB | ollama run solar |
安装之后开启运行大模型
ollama run llama3
下载相应的大模型后就可以进行对话了。
使用命令行对话还是有些不方便，这时候可以用本地 docker 跑一个 open-webui 项目来调用 ollama
这里镜像替换为了国内的镜像，你可以在渡渡鸟容器镜像站搜索到相关的项目镜像
https://docker.aityp.com/image/ghcr.io/open-webui/open-webui:main
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v D:/ai/openaiweb:/open-webui --name open-webui --restart unless-stopped swr.cn-north-4.myhuaweicloud.com/ddn-k8s/ghcr.io/open-webui/open-webui:main注意: open-webui/open-webui:main 这个版本比较老，open-webui 官方 tag 比较混乱。这里我自己打了一个最新版的 v0.3.5 版本，老版本 open-webui 会出现导入模型和提示 404 等异常问题。
v0.3.5 版本镜像: https://docker.aityp.com/image/docker.io/typ431127/open-webui:v0.3.5
swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/typ431127/open-webui:v0.3.5
运行后访问 localhost:3000 注册一个账号登陆后即可使用 web 界面访问。
可以看到对于提出的问题 AI 回答的还是很专业的。
