Introduction前回 は vLLM + Open WebUI によるローカル LLM 環境を構築したが、次は OpenSearch を使って RAG を試してみる。 RAG に必要なのは下記。 Retrieval 質問からセマンティックに意味を理解し必要なデータを取ってくる ベクトルデータベース (Ve...

Introduction前回 は ollama + Open WebUI によるローカル LLM 環境を構築したが、今回は ollama を vLLM に置き換えてみる。どっちでもいいのだが、調べてみると下記のような違いがあった。 特徴 Ollama vLLM 主な用途 ローカル開発 高性能なプロダク...

IntroductionHP ZGX Nano G1n AI Station を購入したので流行りの Local LLM 環境を構築。 How to setup?1. ollama のインストール12345678910111213141516$ curl -fsSL https://ollama.com/inst...

IntroductionHP ZGX Nano G1n AI Station を購入し、XRDP をインストールすることでリモートから管理できるようにしたが、ロック画面を解除できないことに気づいた。 クリックまたはキーを押下すると… すぐに Authentication error と表示され、パスワードを入...

Introductionインターネットにつながっていない、閉域 LAN 内の iPhone の時刻を正確に同期する方法について。Qita 等でそれなりに記事があるが、ざっくりとした記事が多く、わかりづらいと思ったので試してみた。 How to resolve?環境は下記 サブネット IP ホスト名 OS ...

Introduction掲題通りのエラー。apt で　ffmpeg をインストールしようとしたら遭遇。 123456789101112131415161718192021222324252627282930$ sudo apt install ffmpegReading package lists... Done...

Introductiononnxruntime のビルドオプションに --minimal_build が存在する。これ単独で使うことはまずなく、特定の演算子 (OP) 以外を除外する --include_ops_by_config と組み合わせることで生成されるバイナリのサイズを小さくできる。モバイル向けのビルド...

IntroductionNVIDIA GeForce GTX 750 Ti という Maxwell 世代の GPU が認識しないという問題が発生。 12$ nvidia-smiNVIDIA-SMI has failed because it couldn't communicate with the N...

IntroductionCentOS 7 というサポート切れして久しい OS に対して最新の Visual Studio Code から接続した際、 123456789The following issues were detected in your most recent Remote - SSH sessi...

IntroductionCentOS 7 というサポート切れして久しい OS であがくお話し。サポートが 2024/06/30 に終了し、 yum での接続先標準リポジトリも非アクティブになってしまっている。 1234567891011121314151617181920212223242526272829303...