搭建自己的人工智能大模型-Ollama+open-webui

126次阅读
没有评论

共计 1459 个字符,预计需要花费 4 分钟才能阅读完成。

电脑环境如下:

系统: windows11

CPU 显卡: AMD5700G + RTX3060TI G6X

内存: 32G 3200

硬盘: 2T 固态 NVM2

首先下载安装 Ollama,访问下面的链接并下载相应的系统版本

https://ollama.com/download

搭建自己的人工智能大模型 -Ollama+open-webui

Linux 系统安装脚本如下:

curl -fsSL https://ollama.com/install.sh | sh

Ollama 模型说明

Model 参数 大小 下载
Llama 3 8B 4.7GB ollama run llama3
Llama 3 70B 40GB ollama run llama3:70b
Phi 3 Mini 3.8B 2.3GB ollama run phi3
Phi 3 Medium 14B 7.9GB ollama run phi3:medium
Gemma 2B 1.4GB ollama run gemma:2b
Gemma 7B 4.8GB ollama run gemma:7b
Mistral 7B 4.1GB ollama run mistral
Moondream 2 1.4B 829MB ollama run moondream
Neural Chat 7B 4.1GB ollama run neural-chat
Starling 7B 4.1GB ollama run starling-lm
Code Llama 7B 3.8GB ollama run codellama
Llama 2 Uncensored 7B 3.8GB ollama run llama2-uncensored
LLaVA 7B 4.5GB ollama run llava
Solar 10.7B 6.1GB ollama run solar
注意:您应至少拥有 8 GB 的 RAM 来运行 7B 型号,16 GB 的 RAM 来运行 13B 型号,32 GB 的 RAM 来运行 33B 型号。

安装之后开启运行大模型

ollama run llama3
搭建自己的人工智能大模型 -Ollama+open-webui

下载相应的大模型后就可以进行对话了。

使用命令行对话还是有些不方便,这时候可以用本地 docker 跑一个 open-webui 项目来调用 ollama

这里镜像替换为了国内的镜像,你可以在渡渡鸟容器镜像站搜索到相关的项目镜像

https://docker.aityp.com/image/ghcr.io/open-webui/open-webui:main

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v D:/ai/openaiweb:/open-webui --name open-webui --restart unless-stopped swr.cn-north-4.myhuaweicloud.com/ddn-k8s/ghcr.io/open-webui/open-webui:main

注意: open-webui/open-webui:main 这个版本比较老,open-webui 官方 tag 比较混乱。这里我自己打了一个最新版的 v0.3.5 版本,老版本 open-webui 会出现导入模型和提示 404 等异常问题。

v0.3.5 版本镜像: https://docker.aityp.com/image/docker.io/typ431127/open-webui:v0.3.5

swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/typ431127/open-webui:v0.3.5

运行后访问 localhost:3000 注册一个账号登陆后即可使用 web 界面访问。

可以看到对于提出的问题 AI 回答的还是很专业的。

搭建自己的人工智能大模型 -Ollama+open-webui
正文完
 0
ddn
版权声明:本站原创文章,由 ddn 2024-06-24发表,共计1459字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
评论(没有评论)