tokimoa 実務LLM評価レポート
2026Q3（創刊号）

要旨

• ・デスクトップAIマシン（ユニファイドメモリ36GB級の1台・4bit量子化ローカル。以下①）の最有力は Gemma 4 26B-A4B。議事録の事実忠実度1.85、引用F1 0.994、実効54 tok/sと、品質と速度の両立で頭ひとつ抜けています
• ・自社GPUサーバー級（量子化なしのBF16精度。以下②）は Qwen3.5-122B-A10B（忠実度1.93）と Gemma 4 31B（忠実度1.88・引用F1 1.000）が最上位で、Qwen3.6-27Bが続きます
• ・順位以上に導入判断を左右するのは運用側の要因でした。デスクトップ運用はMoE型が前提になり、量子化は方式を誤ると品質が崩壊し、ホスティングAPIは配信元プロバイダで品質が変わります。本文で順に説明します

社外にデータを出せない企業がローカルやオンプレでLLMを動かすとき、モデル選びの拠り所になる日本語の実測データはほとんどありません。学術ベンチマークの順位は業務での使い勝手を保証しませんし、量子化して手元のマシンで動かしたときに何が起きるかは、誰も教えてくれません。本レポートでは、議事録要約とRAG引用正確性という2つの業務タスクを用意し、オープンウェイト13モデル・19構成を同一条件で実測しました。

なお本レポートはモデル選定の参考情報です。性能は用途・データ・設定によって変わるため、導入にあたっては実環境・実データでの検証をおすすめします。評価の制約条件は付録Bにまとめています。

タスク別ランキング

まず「どのモデルがどれくらい使えるのか」を一覧で示します。①はデスクトップ級での4bit量子化ローカル、②はGPUサーバー級（BF16）です。順位の僅差は誤差の範囲としてお読みください。

議事録要約（見出し指標: 事実忠実度、0〜2）

RAG引用（見出し指標: 引用F1、0〜1）

BF16級が上位を占めるのは自然な結果ですが、量子化ローカルの①勢、特にGemma 4の2構成が僅差で食い込んでいる点が今号のポイントです。全構成の詳細は「結果」の節をご覧ください。

この評価が測るもの

既存の日本語リーダーボード（Nejumi LLMリーダーボード4など）は学術寄りのタスク構成で、モデルの地力を測るには優れています。本評価はそれを置き換えるものではなく、隣に置く一次データとして設計しました。違いは3つあります。

第一に、被評価の主役を「秘匿環境で動かせるモデル」に絞りました。オープンウェイトであること、そして手元の1台で動く量子化版とGPUサーバーを想定したBF16級の両方を同じタスクで測り、量子化による劣化を実数で示します。SaaS型のフロンティアモデルは主役ではありません。

第二に、タスクを業務文書に寄せました。会議の文字起こしから決定事項とTODOを構造化する「議事録要約」と、社内規程群から根拠つきで回答する「RAG引用正確性」。どちらも企業のLLM導入で最初に要求される仕事です。

第三に、自動採点の信頼性を人手で検証しています。概要は「評価の信頼性について」の節で、詳細は付録Cで公開しています。

評価の設計（概要）

議事録要約（40問）は、架空企業の会議文字起こしを入力に、要約・決定事項・TODO（担当者と期限つき）・未解決課題をJSONで出力させます。採点は形式適合（機械判定）、事実忠実度（原文にない事実・数値・決定を書いていないか、0〜2）、決定事項一致（0〜2）です。

RAG引用正確性（57問）は、社内規程・FAQ・マニュアル風の文書5〜10本を渡し、質問に出典つきで答えさせます。採点は引用F1（出典の照合、機械判定）、回答の根拠性（0〜2）、文書間矛盾の検出、そして回答不能な質問にもっともらしい回答を捏造した割合（詐称率）です。

データはすべて架空企業の合成データで、人手での確認を経て評価前に凍結しています。モデル選定は2026年7月時点の公開情報（日本語ベンチマーク実績、ライセンス、ローカル動作可否）に基づきます。詳細な設計と制約条件は付録Bをご覧ください。

結果

スコアは0〜2（2が最良）、形式・引用F1は0〜1です。tok/sはプロンプト処理を含む実効スループットで、「議事録」は長文生成時、「RAG」は長文読解・短文回答時の値です。体感の待ち時間に近い数字を採用しました。

①デスクトップAIマシン（ユニファイドメモリ36GB級・4bit量子化ローカル）

総合ではGemma 4 26B-A4Bが最有力です。MoE型（総26B・活性3.8B）のため36GB級の1台でも54 tok/s出て、品質はdense型の31B版とほぼ並びます。品質を最優先し待ち時間を許容できるなら31B、国産という条件があるならQwen3-Swallow-32Bかllm-jp-4が現実的な選択肢です。

②自社GPUサーバー級（BF16）

BF16級ではQwen3.5-122B-A10BとGemma 4 31B、Qwen3.6-27Bがほぼ横並びの最上位です。この帯まで来ると議事録の忠実度は1.9前後で張り付き、差は引用の丁寧さや矛盾処理のような周辺能力に出ます。

SaaS型フロンティア（Claude等）の参照値は今号では未収載です。ローカル勢が「フロンティアの何合目」にいるかの目安として、次号で1本だけ追加する予定です。

導入判断に効く4つの実測知見

デスクトップ運用はMoE型が前提になる

結果表のtok/s列をご覧ください。MoE型（推論時に動くパラメータが小さいモデル）は40〜91 tok/sで実用になりますが、dense型は議事録で8〜18、RAGでは1〜2 tok/sまで落ちます。RAGは数千トークンの規程文書を読み込むため、プロンプト処理の遅さがそのまま応答の遅さになります。Gemma 4 31Bの品質は魅力的ですが、RAGで1問1分待てるかは用途次第です。量子化への耐性でもMoE型は優秀で、Qwen3.6-35B-A3Bは4bit化しても忠実度が1.88から1.73までしか落ちませんでした。

量子化は方式を間違えると「動くのに壊れている」状態になる

今回の評価でいちばん高くついた教訓です。gpt-oss系はMXFP4という方式で学習されたモデルですが、これを一般的な4bit量子化（多くの変換ツールが既定で使うaffine方式）にかけたところ、流暢な文章を生成するのに推論が止まらなくなり、回答にたどり着けなくなりました。同じ重みをMXFP4で量子化し直すと正常に動きます。

さらに、MXFP4をもう一段4bit化した二重量子化の変換物を検証したところ、一見正しいJSONを出しながら、中身の金額や決定事項を捏造する状態になっていました。議事録忠実度0.41で、同じモデルを適切な方式で量子化し直すと0.97です。量子化済みモデルを入手して使う運用では、変換の系譜まで確認しないと「動くのに壊れている」ものを掴む可能性があります。これは特定の配布元の問題ではなく、実行環境を問わず（Mac系でもWindows/LinuxのGGUF系でも）起こりうる方式レベルの話です。

ホスティングAPIは配信元プロバイダで品質が変わる

BF16級の測定に使ったマルチプロバイダ型のホスティングAPIで、Gemma 4 31Bの出力97問中4問が意味不明な文字列になる事象がありました。配信元を記録して追跡したところ、特定プロバイダ経由の場合だけ壊れており、他のプロバイダでは正常でした。壊れた量子化を配信しているか、サービング設定の不備と考えられます。

ホスティングAPIの品質検収は、モデル名ではなく配信元単位で行う必要があります。本評価では以後、全ての測定でプロバイダ名を記録する運用に切り替えました。

「捏造」はもう主要リスクではない。危険は運用設定に移った

回答不能な質問12問に対してもっともらしい回答を捏造したモデルは、19構成中17構成でゼロでした。2026年世代のオープンモデルは「知らないことを知らないと言う」訓練がかなり効いています。捏造が見られたのは2025年前半までの旧世代モデルと、先述の二重量子化の変換物だけで、世代更新の効果がはっきり数字に出ています。

一方で運用設定に起因する問題は随所で起きました。代表例が思考型モデルの出力トークン予算です。思考型モデルは内部の思考に出力枠を消費するため、生成上限を4,096トークンに設定していた当初、BF16級で28問が「思考だけで枠を使い切り、回答が空」になりました。上限を16,384に上げると全て解消しています。モデルの賢さ以前に、設定ひとつで可用性が大きく変わります。

国産モデルの現在地

国産モデルの進化は着実です。NIIのllm-jpは、旧世代13B（2025年5月）から現行のllm-jp-4 32B-A3B（2026年4月）で議事録忠実度0.85から1.45、引用F1 0.512から0.947へ大きく伸びました。MoE化により85 tok/sと今回最速クラスで、デスクトップ適性の高さは特筆に値します。

東京科学大のSwallow系では、Qwen3-Swallow-32Bが議事録忠実度1.48とローカル国産の最上位でした。タスクにより得意不得意があり、RAGの引用F1は0.772です。gpt-ossを日本語化したGPT-OSS-Swallow-20Bは91 tok/sと今回の最速で、速度を最優先する用途の選択肢になります。なお元になった素のgpt-oss-20bは日本語の指示に英語で応答することがあり、日本語業務での利用には日本語化版のような手当てが効きます。国産の日本語特化モデルが存在する意義はここにあります。

評価の信頼性について

採点は3段構えでスコアを担保しています。形式適合や引用照合のような機械的に測れる指標はプログラムで判定し、意味の判断が必要な指標はモデル名を伏せたルーブリック方式のLLM自動採点で行い、さらにその自動採点自体を、全判定の約1割・177件の人手による盲検採点と突き合わせて検証しました。人手検証で見つかった自動採点の弱点は改善のうえ再採点しています。検証の数値と手順は付録Cに記載しました。

次号予告と評価コンソーシアムのご案内

次号（2026Q4）では、期限検証の機械判定化、SaaS型フロンティア参照値の追加、新世代オープンモデルの収載を予定しています。

あわせて、自社の実データ・実タスクでこの評価を実施したい企業向けに、評価コンソーシアムの構想を進めています。本評価の設計をそのまま貴社文書に適用し、外部には匿名化した集計のみを公開する形です。秘匿環境でのLLM導入を検討中で、モデル選定に実測の根拠が欲しい方は、tokimoaまでお問い合わせください。

付録A. 収載モデル一覧

①の測定はApple Silicon Mac 1台（M4 Max・ユニファイドメモリ36GB）で、量子化ランタイムにはMLXを使用しました。②はマルチプロバイダ型ホスティングAPI（OpenRouter）をBF16品質の代理指標として使用し、自動採点はClaude Opus 4.8（Batches API）で行っています。

今回収載を見送った主なモデルと理由も記しておきます。いずれもモデルの優劣ではなく、本評価の対象条件（ユニファイドメモリ36GB級でのローカル動作）や時期によるものです。Mistral Small 4、RakutenAI-3.0、Stockmark-2-100B、DeepSeek・Kimi等の大型MoEはメモリ要件が本評価のデスクトップ条件を超えるため、Llama 4系はサイズに加えライセンス条件の運用確認が必要なため、今回は対象外としました。CyberAgentのCATシリーズ（2026年7月公開）は公開直後のため次号以降で検討します。なおQwen3.6系のような公開間もないモデルは、各種リーダーボードへの反映前の時期にあたるため、本レポートの数値は最初期の参考値としてご利用ください。

付録B. 設計の要点と制約条件

評価データはすべて架空企業の合成データで、人手での確認を経て評価前に凍結しています（混入検出用のカナリア文字列つき）。データ生成に使ったモデル系列が被評価に含まれるため、その分の有利バイアスがありうる点は付記します。

読み方の注意は3点です。各構成1回の実行のため1問の重みが大きいこと（議事録40問・RAG 57問）、順位の僅差（0.05程度）は誤差の範囲であること、②レーンはホスティングAPIによる代理測定で配信元由来の揺らぎを含むことです。

評価ハーネス・タスク定義・採点ルーブリックはコードとして管理しています。評価に使用した検証済みMLX変換モデル（Qwen3-Swallow-32B、GPT-OSS-Swallow-20B、gpt-oss-20b）はHugging Face（tokimoa）で公開しています。実行設定の詳細な記録は技術ノートとして別途公開予定です。

付録C. 自動採点の人手検証（要点）

自動採点にはClaude Opus 4.8を使い、モデル名を伏せたアンカー付きルーブリック（0/1/2の3値尺度）で採点しています。妥当性の確認として、全判定から層化抽出した177件を人手で盲検採点し、一致率を測りました。RAGの根拠性判定でκ=0.62（実質的な一致）、議事録の忠実度判定でκ=0.47（中程度の一致）です。人手検証で見つかった弱点（空回答の扱い・期限の日付検算）は自動採点に反映して全量を再採点済みで、日付検算は次号でプログラム判定への置き換えを予定しています。検証手順と考察の全記録は技術ノートとして別途公開予定です。

付録D. 用語