大規模言語モデルをローカルで動かすには、品質を損なわずにファイルサイズを削減する必要があります。このガイドでは、Hugging Faceからモデルをダウンロードし、GGUF形式に変換して、Q4_K_Mなどのレベルに量子化することで一般的なハードウェアで動作させるまでのllama.cppの全パイプラインを解説します。