ローカルでチャットAIを動作させる
- 2023年11月29日
- AI
text-generation-webui を使用してローカルでLLMを動かし、
AIとチャットを行ってみました。
text-generation-webui のgithubからソースコードをpullし、
Readmeに従ってpullしてきたフォルダの”start_windows.bat”を実行します。
そうするとターミナルが起動し、必要なファイルのダウンロードが始まり、
途中でGPUの種類やCUDAのバージョン選択等を聞かれるのでそれに答えると
しばらく待てばセットアップが終わります。
![](https://www.gigas-jp.com/appnews/wp-content/uploads/sites/4/2023/11/c95fecefd22b127abd394e1216788007.png)
![](https://www.gigas-jp.com/appnews/wp-content/uploads/sites/4/2023/11/5958f40d62c6f513483c62522b4a7b02.png)
セットアップが完了するとターミナル上に “http://172.0.0.1:{ポート番号}” が表示されるので
このアドレスをブラウザで起動すればwebuiの起動完了です。
今回のモデルはストックマーク株式会社のStockmark 13Bを量子化したStockmark 13B – GPTQを利用しました。
モデルデータはWebUI上でダウンロードが可能です。
Modelタブに移動し、”Download model or LoRA” に配布元に記載されているテキストを張り付けてDownloadボタンを押下するとダウンロードが開始されます。
しばらくしてダウンロードが完了するとModel左上の”Model”でダウンロードしたモデル名が選択可能になるので選択すれば設定完了です。
![](https://www.gigas-jp.com/appnews/wp-content/uploads/sites/4/2023/11/2d1ef2b5936d0d7ed5082512a74a1d87-scaled.jpg)
Chatタブに移動してメッセージを送信すればAIが応答してくれます。
![](https://www.gigas-jp.com/appnews/wp-content/uploads/sites/4/2023/11/455c1052f9fcfda4262a4c71624735dd.png)
ローカルLLMの実行環境を構築するのも簡単ですね。
水曜担当:Tanaka
tanaka at 2023年11月29日 10:00:00