前の記事でvLLmでGemma4のMTPを動かしていたんだけど、LLM運用以外にもサーバを使いたい身としてはVRAMがあればあるだけ食べてしまうvLLMはちょっと辛かったんですな。 で、一旦はOllamaでオフィシャルに配布されているQwen3.6:27bのMTPイメージに切り替えて…

EVO-X2 128GB（Strix Halo）、Ubuntu24.04環境。個人的な主義としてDockerで動かしてる。 日記の方で雑にMTPを動かして早くなったねーというところまでは行けてたんだけど、Codex[cli/app]で動かすまでに意外と手がかかったので共有。 blue1st-diary.hateblo…

LLMをチャットとして実用的に使う上でWeb検索は欠かせない機能要素だろう。 ラフに訊ねた文言から検索キーワードを良い感じに定めて検索を実行し、複数のサイトから情報を拾って時には翻訳までして情報をまとめてくれる。 LLMの性質上どこまでいってもハルシ…

いつの間にかiTerm2にAIプラグインなるものが搭載されてたので、せっかくなのでローカルLLMで試してみた。 blue1st.hateblo.jp 前提情報 うちの場合、ローカルネットワーク内のマシン(EVO-X2)で動かしていて IPアドレスは192.168.1.33 ポートは10000 モデル…