Posted inAI

初心者開発者のためのOllamaを使ったローカルLLMの実行方法

AI tutorial - IT technology blog
AI tutorial - IT technology blog

ローカルLLMを実行する背景と理由

大規模言語モデル（LLM）は、テクノロジーとの関わり方を大きく変革しました。現在では、高度な検索エンジンから洗練されたAIツールまで、あらゆるものの基盤となっています。

OpenAIのGPTシリーズやGoogleのGeminiといったクラウドベースのLLMは、その強力な機能と利便性を提供します。しかし、データプライバシー、コスト、カスタマイズ性に関してトレードオフが存在します。

だからこそ、LLMを自身のローカルマシンで実行することは非常に有益です。これらのモデルを自分のマシンでホストすることで、以下の利点が得られます。

  • プライバシーの強化：データはデバイス内に安全に保持されます。これは、データセキュリティが最重要となる機密性の高いプロジェクトや個人的な利用にとって不可欠です。
  • コスト効率：API利用料金に別れを告げましょう。一度モデルをダウンロードすれば、以降のやり取りは無料です。
  • オフラインアクセス：インターネット接続がない環境でもLLMの開発や実験ができます。
  • 完全な制御：必要に応じてモデルを調整、カスタマイズし、アプリケーションに統合することができます。外部APIによる制限はありません。
  • 学習と実験：ローカル環境はサンドボックスとして機能します。これにより、利用コストを気にすることなく、LLMの仕組みを理解し、プロンプトをテストし、様々なモデルを探求することができます。

現代の開発者にとって、ローカルLLMの実行を習得することは不可欠なスキルです。特に独自データを扱う際に、広範な実験と安全なアプリケーション開発を可能にします。

Ollamaはこのプロセスを大幅に簡素化します。このオープンソースツールは、大規模言語モデルを自分のマシンで直接実行するのを効率化します。Ollamaは、複雑なモデルの重み、依存関係、および実行を管理し、開発者がアプリケーションの構築やAIの実験に集中できるよう解放します。

インストール

Ollamaを起動して実行するまでのプロセスは迅速です。一般的なオペレーティングシステムごとの手順を説明します。

Ollamaのダウンロードとインストール

Linuxの場合

ターミナルを開き、以下のコマンドを実行します。このスクリプトはOllamaをダウンロードしてインストールし、システムサービスとしてセットアップします。


curl -fsSL https://ollama.com/install.sh | sh

実行後、Ollamaはインストールされ、バックグラウンドで実行されているはずです。

macOSの場合

macOSユーザーの場合、最も簡単な方法は、Ollama公式サイトから直接アプリケーションをダウンロードすることです。

https://ollama.com/download

.dmgファイルをダウンロードし、開いて、Ollamaを「アプリケーション」フォルダにドラッグします。または、Homebrewを使用している場合は、コマンドラインでインストールできます。


brew install ollama

Windowsの場合

Windowsユーザーも、Ollamaのウェブサイトからインストーラーを直接ダウンロードできます。

https://ollama.com/download

.exeインストーラーを実行し、画面の指示に従ってください。Ollamaは自動的にインストールされ、通常、インストール後に自動的に起動します。

インストールの確認

オペレーティングシステムごとのインストール手順を完了したら、新しいターミナルまたはコマンドプロンプトを開き、次のように入力します。


ollama --version

Ollamaが正しくインストールされていることを示す、次のような出力が表示されるはずです。


ollama version is 0.1.XX

正確なバージョン番号は異なる場合がありますが、これを見ればollamaコマンドが認識されていることが確認できます。

設定

Ollamaがインストールされたので、いくつかの大規模言語モデルをダウンロードして操作してみましょう。

最初のLLMをダウンロードする

Ollamaはモデルのダウンロードを簡素化します。モデルの重みの場所を自動的に特定し、使用できる状態に準備します。人気のオープンソースモデルであるLlama 2から始めましょう。


ollama run llama2

このコマンドを初めて実行すると、Ollamaはllama2がローカルにインストールされていないことを検知します。その後、自動的にモデルのダウンロードを開始します。インターネットの速度やモデルのサイズ（多くのLLMは数ギガバイトで、Llama 2は約3.8 GB）によっては、時間がかかる場合があることに注意してください。ターミナルに進行状況インジケーターが表示されます。

ダウンロードが完了すると、Ollamaは自動的にモデルをロードし、モデルとの対話を開始するためのプロンプトを表示します。

Ollamaライブラリで他の利用可能なモデルを探索できます。例えば、別の優れたモデルであるMistralをダウンロードして実行するには、次のように使用します。


ollama run mistral

CLIを介したモデルとの対話

ollama run <model_name>を使用してモデルを実行すると、インタラクティブなチャットセッションに入ります。プロンプトを直接ターミナルに入力できます。


ollama run llama2

>>> こんにちは！
こんにちは！今日はどのようなお手伝いができますか？

>>> プログラミングにおける再帰の概念を説明してください。
プログラミングにおける再帰とは、関数が自分自身を直接的または間接的に呼び出すことで問題を解決する手法です。ロシアのマトリョーシカ人形を想像してください。それぞれの内側のマトリョーシカは、その前のものよりも小さいものです。...

>>> 文字列を反転するPython関数を生成してください。
def reverse_string(s):
    return s[::-1]

# 使用例:
my_string = "hello"
reversed_my_string = reverse_string(my_string)
print(reversed_my_string)  # 出力: olleh

インタラクティブセッションを終了するには、/byeと入力するか、Ctrl + D（Linux/macOSの場合）またはCtrl + Zを押してからEnter（Windowsの場合）を押します。

Ollama APIの使用

Ollamaには強力な組み込みAPIが含まれています。Ollamaが実行されると、通常http://localhost:11434でローカルサーバーを自動的に起動し、REST APIを公開します。このAPIにより、シンプルなHTTPリクエストを介して、ローカルLLMをカスタムアプリケーションにシームレスに統合できます。

cURLによる基本的なAPIインタラクション

ターミナルからcurlを使用してAPIをテストできます。


curl http://localhost:11434/api/generate -d '{
  "model": "llama2",
  "prompt": "なぜ空は青いのですか？"
}'

応答はJSONオブジェクトのストリームとなり、それぞれがモデルの回答の一部を含みます。

APIインタラクションのPython例

これは、ローカルOllama APIと対話するためのシンプルなPythonスクリプトです。requestsライブラリ（pip install requests）が必要です。


import requests
import json

def generate_response(prompt, model="llama2"):
    url = "http://localhost:11434/api/generate"
    headers = {'Content-Type': 'application/json'}
    data = {
        "model": model,
        "prompt": prompt,
        "stream": False  # ストリーミング応答の場合はTrueに設定
    }

    try:
        response = requests.post(url, headers=headers, data=json.dumps(data))
        response.raise_for_status()  # 不良な応答 (4xxまたは5xx) の場合はHTTPErrorを発生させる
        
        # ストリーミングでない場合、応答は単一のJSONオブジェクトです
        return response.json()['response']
    except requests.exceptions.RequestException as e:
        print(f"Ollama APIとの通信エラー: {e}")
        return None

if __name__ == "__main__":
    user_prompt = "晴れた日についての短い詩を書いてください。"
    print(f"プロンプト: {user_prompt}")
    llm_response = generate_response(user_prompt, model="mistral") # ここでモデルを変更できます
    
    if llm_response:
        print("\nLLM応答:")
        print(llm_response)

    user_prompt_2 = "シンプルなPython CLIツールのアイデアを3つ教えてください。"
    print(f"\nプロンプト: {user_prompt_2}")
    llm_response_2 = generate_response(user_prompt_2)

    if llm_response_2:
        print("\nLLM応答:")
        print(llm_response_2)

このスクリプトは、ローカルのOllamaインスタンスにプロンプトを送信し、応答を受け取る方法を示しています。これはチャットボットからコンテンツジェネレーターまで、さまざまなアプリケーションに適用されます。

検証と監視

Ollamaインスタンスを監視することで、すべてがスムーズに実行されていることを確認し、トラブルシューティングに役立ちます。

Ollamaサービスステータスの確認

Ollamaサービスがバックグラウンドでアクティブであるかを知ることは役立ちます。

Linuxの場合


systemctl status ollama

active (running)ステータスを示す出力が表示されるはずです。

macOSの場合

Ollamaは通常、ユーザーエージェントとして実行されます。プロセスを確認したり、アクティビティモニターを見たりすることで、そのステータスを確認できます。迅速な確認のために、APIエンドポイントが応答しているか見てください。


curl http://localhost:11434

Ollamaがアクティブであれば、{"message":"Ollama is running"}のようなシンプルなJSON応答を受け取るでしょう。あるいは、パスが無効な場合は404エラーが発生するかもしれませんが、これはサーバーが実際に実行されていることを確認するものです。

Windowsの場合

タスクマネージャー（Ctrl + Shift + Esc）を開き、「プロセス」または「パフォーマンス」タブに移動します。そこでCPU、メモリ、GPUの使用状況を監視できます。Ollamaプロセスを探してください。

インストール済みモデルのリスト表示

ダウンロード済みで実行可能なモデルを確認するには：


ollama list

このコマンドは、モデルのリスト、そのサイズ、最終使用日時を表示します。


NAME           ID             SIZE    MODIFIED
llama2:latest  f6b15d2a...    3.8 GB  5 minutes ago
mistral:latest 294e7737...    4.1 GB  2 hours ago

リソース使用量の監視

LLMは、特にコンシューマーハードウェアでは、リソースを大量に消費する可能性があります。システムのCPU、GPU（Ollamaで利用可能かつ使用されている場合）、RAMの使用状況を監視することは重要です。

Linux/macOSの場合

ターミナルでhtop（インストールされていない場合はbrew install htopまたはsudo apt install htop）やtopなどのツールを使用します。


htop

ollamaという名前のプロセス、またはアクティブなモデルに関連するプロセスを見つけてください。CPUとメモリの列を監視します。互換性のあるGPUがある場合、Ollamaは計算をGPUにオフロードしようとします。このGPU使用状況は、NVIDIA GPU用のnvidia-smiなどの特定のツールで監視できます。

Windowsの場合

タスクマネージャー（Ctrl + Shift + Esc））を開き、「プロセス」または「パフォーマンス」タブに移動します。そこでCPU、メモリ、GPUの使用状況を監視できます。Ollamaプロセスを探してください。

パフォーマンスの問題やメモリ不足エラーに直面した場合、より小さなモデルのダウンロードを検討してください。Ollamaは、利用可能な場合、llama2:7bとllama2:13bのように異なるサイズを提供していることがよくあります。あるいは、実行しようとしているモデルの推奨仕様をシステムが満たしていることを確認してください。

Ollamaを使用してLLMをローカルで実行することで、強力なAI機能をデスクトップで直接利用できるようになります。このアプローチにより、データの完全な制御とプライバシーを維持しながら、言語モデルを学習、開発、革新する力が得られます。

Share: