DeepSeek R1を動かしたい!

mae616
·
公開:2025/1/25

またなんか出たようなので動かしたい٩( ᐛ )و

環境

M1 Mac Pro 16GB

失敗:蒸留モデルを入れてみる

参考

モデルは

DeepSeek-R1-Distill-Qwen-14B Qwen2.5-14B 9GB

でいけそうかな٩( ᐛ )و

参考: https://notai.jp/deepseek-r1-distilled/

Ollamaが入ってるいるので、

ollama run deepseek-r1:14b

参考: https://ollama.com/library/deepseek-r1:14b

メモリ的に大丈夫かな?重かったらまた後で入れ直そう٩( ᐛ )و

...💃🕺(ダウンロードたいむ)

Open WebUIを入れたい

参考

ローカルに入れるのは自分でもどうかと思うんだけど、Dockerのコンテナは 案件ごとに削除したりするのでそのまま入れた。

$ pip install open-webui

起動

$ open-webui serve

http://localhost:8080 でアクセス

~/.zshrc

# Ollama webUI

export HF_HUB_OFFLINE=1

alias webui_start="open-webui serve"

$ source ~/.zshrc

下記で起動できるようになる

$ webui_start

構築できたけど、すごいパソコンがファー言ってて実用が厳しそう。


APIで使う方を検討

またコミュニティの人のアドバイスをいただいて、コストも低いしAPIを使う方を検討  ※ お金がかかるので注意

Cursorに Cline に入れた。

これ参考にした

こちらも参考

下記でAPIキーを取得して

チュートリアルを参考に

Clineの設定

  • API Provider

    OpenAI Compatible

  • Base URL

    https://api.deepseek.com/v1

  • API key

    (取得したAPI key)

  • Model ID

    deepseek-reasoner

  • Custom Instructions

    Always respond in 日本語.

とか適当に。

でできた。