LLM Benchmark 2026Q3
日本語 実務LLMランキング
秘匿環境で使えるオープンモデルを実測
議事録要約とRAG引用正確性という日本語の業務タスクで、オープンウェイト13モデル・19構成を同一条件で実測しました。 デスクトップAIマシンでの4bit量子化ローカルと、GPUサーバー級（BF16）の両方を比較する四半期レポートです。
- ①デスクトップAIマシン（36GB級・量子化ローカル）の最有力は Gemma 4 26B-A4B（忠実度1.85・引用F1 0.994・54 tok/s）
- ②GPUサーバー級（BF16）は Qwen3.5-122B-A10B と Gemma 4 31B が最上位
- ※順位以上に効くのは運用要因。MoE型の速度優位・量子化方式・配信元プロバイダの差を実測で確認
Rankings
タスク別ランキング Top 10
①はデスクトップ級での4bit量子化ローカル、②はGPUサーバー級（量子化なしのBF16精度）です。 スコアの僅差（0.05程度）は誤差の範囲としてお読みください。
議事録要約（事実忠実度、0〜2）
| 順位 | モデル | レーン | 忠実度 |
|---|---|---|---|
| 1 | Qwen3.5-122B-A10B | ② | 1.93 |
| 2 | Qwen3.6-27B | ② | 1.90 |
| 3 | Gemma 4 31B | ② | 1.88 |
| 3 | Qwen3.6-35B-A3B | ② | 1.88 |
| 5 | Gemma 4 26B-A4B | ② | 1.87 |
| 6 | Gemma 4 26B-A4B | ① | 1.85 |
| 7 | Gemma 4 31B | ① | 1.82 |
| 8 | Qwen3.6-35B-A3B | ① | 1.73 |
| 9 | Qwen3.6-27B | ① | 1.70 |
| 10 | gpt-oss-120b | ② | 1.60 |
RAG引用（引用F1、0〜1）
| 順位 | モデル | レーン | 引用F1 |
|---|---|---|---|
| 1 | Gemma 4 26B-A4B | ② | 1.000 |
| 1 | Gemma 4 31B | ② | 1.000 |
| 1 | Qwen3.6-27B | ② | 1.000 |
| 4 | Gemma 4 26B-A4B | ① | 0.994 |
| 4 | Gemma 4 31B | ① | 0.994 |
| 6 | Qwen3.6-27B | ① | 0.991 |
| 7 | Qwen3.6-35B-A3B | ① | 0.977 |
| 8 | GLM-4.7-Flash | ② | 0.959 |
| 9 | llm-jp-4-32b-a3b | ① | 0.947 |
| 10 | Qwen3.5-122B-A10B | ② | 0.930 |
BF16級が上位を占めるのは自然な結果ですが、量子化ローカルの①勢、特にGemma 4の2構成が僅差で食い込んでいます。
Quality × Speed
デスクトップで「使える」のはどれか？品質×速度の一枚絵
①レーン（4bit量子化ローカル）の議事録タスクにおける、事実忠実度と実効速度の分布です。 右上にあるほど「賢くて速い」。Gemma 4 26B-A4Bが品質と速度の両立で頭ひとつ抜けています。dense型（Gemma 4 31B、Qwen3.6-27Bなど）は品質が高くても速度が出にくく、 用途によっては待ち時間がネックになります。
Full Results
導入パターン別の詳細結果
①デスクトップAIマシン（36GB級・4bit量子化ローカル）
| モデル | 議事録 忠実度 | 決定一致 | 形式 | RAG 引用F1 | 根拠性 | tok/s 議事録/RAG |
|---|---|---|---|---|---|---|
| Gemma 4 26B-A4B | 1.85 | 1.59 | 0.95 | 0.994 | 2.00 | 54 / 8 |
| Gemma 4 31B | 1.82 | 1.64 | 1.00 | 0.994 | 2.00 | 9 / 1 |
| Qwen3.6-35B-A3B | 1.73 | 1.62 | 1.00 | 0.977 | 1.98 | 65 / 10 |
| Qwen3.6-27B | 1.70 | 1.57 | 1.00 | 0.991 | 1.98 | 11 / 1 |
| GLM-4.7-Flash | 1.52 | 1.48 | 1.00 | 0.603 | 1.21 | 40 / 18 |
| Qwen3-Swallow-32B-RL | 1.48 | 1.52 | 1.00 | 0.772 | 1.95 | 8 / 2 |
| llm-jp-4-32b-a3b | 1.45 | 1.57 | 0.97 | 0.947 | 1.91 | 85 / 41 |
| GPT-OSS-Swallow-20B-RL | 1.05 | 1.23 | 0.88 | 0.708 | 1.53 | 91 / 54 |
| gpt-oss-20b | 0.97 | 1.32 | 0.90 | 0.711 | 1.76 | 80 / 49 |
| llm-jp-3.1-13b（旧世代・参照用） | 0.85 | 1.35 | 0.93 | 0.512 | 1.24 | 18 / 7 |
②自社GPUサーバー級（BF16）
| モデル | 議事録 忠実度 | 決定一致 | 形式 | RAG 引用F1 | 根拠性 | 矛盾検出 | 詐称 |
|---|---|---|---|---|---|---|---|
| Qwen3.5-122B-A10B | 1.93 | 1.60 | 1.00 | 0.930 | 1.96 | 2.00 | 0/12 |
| Qwen3.6-27B | 1.90 | 1.52 | 0.93 | 1.000 | 1.93 | 2.00 | 0/12 |
| Gemma 4 31B | 1.88 | 1.62 | 0.97 | 1.000 | 2.00 | 2.00 | 0/12 |
| Qwen3.6-35B-A3B | 1.88 | 1.57 | 0.85 | 0.877 | 1.89 | 2.00 | 0/12 |
| Gemma 4 26B-A4B | 1.87 | 1.57 | 1.00 | 1.000 | 2.00 | 1.83 | 0/12 |
| gpt-oss-120b | 1.60 | 1.52 | 1.00 | 0.696 | 1.93 | 2.00 | 0/12 |
| gpt-oss-20b | 1.57 | 1.55 | 0.95 | 0.889 | 1.93 | 2.00 | 0/12 |
| GLM-4.7-Flash | 1.56 | 1.60 | 0.97 | 0.959 | 1.98 | 2.00 | 0/12 |
スコアは0〜2（2が最良）、形式・引用F1は0〜1。tok/sはプロンプト処理を含む実効スループット。 詐称は回答不能な12問に対してもっともらしい回答を捏造した件数。
Findings
導入判断に効く4つの実測知見
01
デスクトップ運用はMoE型が前提になる
推論時に動くパラメータが小さいMoE型は実効40〜91 tok/sで実用になる一方、dense型はRAGで1〜2 tok/sまで落ちます。量子化への耐性でもMoE型が優位でした。
02
量子化は方式を誤ると「動くのに壊れている」状態になる
MXFP4で学習されたモデルを一般的なaffine方式で4bit化すると推論が崩壊し、二重量子化の変換物は流暢な文章のまま数値を捏造しました（忠実度0.41、適切な方式なら0.97）。変換の系譜確認が必須です。
03
ホスティングAPIは配信元プロバイダで品質が変わる
同一モデルでも特定の配信元経由では出力が壊れる事象を確認しました（97問中4問）。品質検収はモデル名ではなく配信元単位で行う必要があります。
04
「捏造」より運用設定がリスクの中心に
回答不能な質問への捏造は19構成中17構成でゼロ。一方、思考型モデルは生成上限の設定次第で回答が空になるなど、設定起因の問題が随所で起きました。
それぞれの詳細と数値はフルレポート（2026Q3）で解説しています。
Methodology
どうやって測っているのか？
評価タスクは、会議の文字起こしから決定事項とTODOを構造化する「議事録要約」（40問）と、 社内規程群から根拠つきで回答する「RAG引用正確性」（57問）。どちらも企業のLLM導入で最初に要求される仕事です。 データはすべて架空企業の合成データで、人手での確認を経て評価前に凍結しています。
採点は3段構えでスコアを担保しています。形式適合や引用照合はプログラムで機械判定し、 意味の判断が必要な指標はモデル名を伏せたルーブリック方式のLLM自動採点で行い、 さらにその自動採点自体を177件の人手による盲検採点と突き合わせて検証しました。
FAQ
よくある質問
このランキングはどうやって測っていますか？+
議事録要約（40問）とRAG引用正確性（57問）という日本語の業務タスクを自作し、全モデルを同一条件で実測しています。採点は機械判定・モデル名を伏せたLLM自動採点・人手の盲検検証（177件）の3段構えです。データはすべて架空企業の合成データで、評価前に凍結しています。
ChatGPTやClaudeなどのクラウドAIとの比較はありますか？+
本評価の主役は「データを外部に出さずに動かせるオープンモデル」のため、SaaS型フロンティアモデルは収載していません。次号でローカル勢との位置関係を示す参照値を1本追加する予定です。
順位はどのくらい信頼できますか？+
各構成1回の実行（議事録40問・RAG57問）のため、0.05程度の僅差は誤差の範囲としてお読みください。明確な差と傾向を読み取る用途に適しています。評価の制約条件はレポート本文に明記しています。
自社のタスクや文書で同じ評価はできますか？+
可能です。本評価と同じ基盤を貴社の実データ・実タスクに適用する「LLM選定アセスメント」（30万円〜・固定価格・2〜4週間）を提供しています。貴社版のモデルランキングと推奨構成、稟議に使える経営サマリを納品します。秘匿環境でのモデル選定に実測の根拠が欲しい場合はお問い合わせください。
あわせて読む・使う
秘匿AIとは？
データを外に出さずにAIを使う構成パターン4種と費用目安。本ランキングの導入パターン①②の解説
フルレポート 2026Q3
評価設計・全結果・4つの知見・制約条件まで。本ランキングの根拠となる読み物
レディネス診断（無料・3分）
データ保護・セキュリティを含む6軸でAIガバナンスの現在地を確認
本ランキングはモデル選定の参考情報です。性能は用途・データ・設定によって変わるため、 導入にあたっては実環境・実データでの検証をおすすめします。自社データでの評価はtokimoaが承っています。
PoCで止まっているAIを、
本番に出しませんか。
まずは30分の無料相談から。
Discovery 1ヶ月（35〜50万円）でお試しいただけます。無理に上位プランへ進む必要はありません。
tokimoa.jp/contact