Introduction

HP ZGX Nano G1n AI Station を購入したので流行りの Local LLM 環境を構築。

How to setup?

1. ollama のインストール

$ curl -fsSL https://ollama.com/install.sh | sh
>>> Installing ollama to /usr/local
[sudo] password for t-takeuchi:
>>> Downloading ollama-linux-arm64.tar.zst
######################################################################## 100.0%
>>> Creating ollama user...
>>> Adding ollama user to render group...
>>> Adding ollama user to video group...
>>> Adding current user to ollama group...
>>> Creating ollama systemd service...
>>> Enabling and starting ollama service...
Created symlink /etc/systemd/system/default.target.wants/ollama.service → /etc/systemd/system/ollama.service.
>>> NVIDIA GPU installed.

$ ollama --version
ollama version is 0.20.7

次に、ollama が後述の Open WebUI のコンテナ内からアクセスできるよう、待ち受けのアドレスを変更する。

/etc/systemd/system/ollama.service を開き、[Service] セクションの最終行に下記を追加。

1	+ Environment="OLLAMA_HOST=0.0.0.0"

編集終わったらデーモンを再起動。

1 2	$ sudo systemctl daemon-reload $ sudo systemctl restart ollama

2. Open WebUI のインストール

すでに ollama がインストールできているので、Open WebUI のみインストール。
--restart always でシステム起動時に自動実行されるようになる。
--add-host=host.docker.internal:host-gateway でコンテナからホストマシンにアクセスできるようになる。

$ sudo docker run -d -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  --restart always \
  ghcr.io/open-webui/open-webui:main

ブラウザで http://<インストール先のip>:3000 にアクセス

はじめる を選択

ログイン情報を入力

OK、始めましょう! を選択

Open AI の WebUI と似ている見慣れた画面

3. Open WebUI と ollama を連携

続いて右上のアイコンから 管理者パネル を選択

設定を選択

接続を選択

Open API を OFF に変更し、 Ollama API接続の管理 でアドレスが http://host.docker.internal:11434 になっていることを確認。
その右にあるダウンロードアイコンをクリック。
ここでシステム上の Ollama との接続できていないとエラーになるので、その場合は Firewall や docker との接続を確認。
少なくとも netstat -lnpt | grep 11434 で LISTEN が存在しないなら、Ollama は起動していないし、存在していてもアドレスが 127.0.0.1 なら、先述の OLLAMA_HOST の設定が正しく反映されていない。