同一課題ベンチマーク 方法論
このベンチマークは、全ツールに同一のプロンプト・同一の素材を与え、 出力品質・所要時間・実コストを同じ物差しで実測するものです。 このページでは、結果に先立って方法論（課題・評価軸・手順・再現条件）を公開します。
検証準備中： 実測結果はまだありません。
方法論の設計を公開している段階であり、結果ページは実測を実施した後に公開します。
実施していない検証について、結果や順位を掲載することはありません。
課題の種類
実務で頻出する用途から課題を設定します。第1弾・第2弾は以下の2課題を予定しています。
| 課題 | 内容 | 素材 |
|---|---|---|
| 第1弾： 長文要約 | 長文テキストを指定した形式（要点箇条書き＋指定字数の要約）で要約させる | 同一の長文テキスト（全文を結果ページで公開） |
| 第2弾： 議事録作成 | 会議の文字起こしから、決定事項・宿題・発言者別サマリを抽出させる | 同一の文字起こしテキスト（全文を結果ページで公開） |
| 以降の候補 | SNS投稿文の生成、コード生成、調査リサーチ、表データの整理など用途別に拡張 | 課題ごとに同一素材を用意 |
評価軸
1. 品質
- 正確性： 素材にない内容の混入（捏造）がないか、数値・固有名詞が正しいか
- 網羅性： 素材の重要ポイントをどれだけ拾えているか
- 指示追従： 出力形式・字数・構成の指示にどれだけ従っているか
- 日本語の自然さ： 不自然な表現・誤字脱字の少なさ
採点は上記の観点を項目化したルーブリックで行い、採点基準そのものを結果ページで公開します。
2. 所要時間
- プロンプト送信から出力完了までの秒数を実測します。
- 各課題・各ツールとも複数回実行し、中央値を採用します（回数は結果ページに明記）。
- 実施日時と時間帯を記録し、混雑による変動があり得ることを注記します。
3. 実コスト
- サブスクリプション型： プラン月額と、そのプランの制限内で当該課題を何回実行できるかの実測から、1回あたりコストを算出します。
- API従量型（将来対象）： 入出力トークン数を実測し、公式API料金で1回あたりコストを算出します。
- 料金の根拠は本サイトの料金DB（公式確認済みデータ）とし、算出式を結果ページに明記します。
実施手順
- 課題のプロンプト全文と素材を固定し、事前にこのページ（および結果ページ）で公開する。
- 対象ツールのプラン・モデル名・バージョンを記録する。
- 各ツールともデフォルト設定で、同一のプロンプト・素材をそのまま投入する（ツールごとの最適化や手直しはしない）。
- 同一日・同一時間帯に全ツールの実行を行い、所要時間を計測する。
- 生の出力をそのまま保存し、ルーブリックで採点する。出力の編集・抜粋による印象操作はしない。
- 結果ページに、プロンプト・素材・生出力・採点・所要時間・コスト算出をすべて公開する。
再現条件（追試できるための公開事項）
- プロンプト全文と入力素材の全文
- 使用したプラン名、モデル名・バージョン、設定（デフォルトであること）
- 実施日時・時間帯、実行回数
- 生出力の全文（保存形式も含む）
- 採点ルーブリックと採点結果
AIツールの出力は非決定的であり、同じ条件でも結果が変動し得ます。 本ベンチマークの結果は「実施時点・実施条件での実測値」として公開し、恒常的な優劣の断定には使いません。 プランやモデルの改定があった場合は、再実施して結果を更新し、更新履歴を残します。
現在のステータス
検証準備中。方法論は本ページのとおり確定し、料金DB（一次データの土台）は公開済みです。 実測は、対象プランの範囲を確定したうえで実施します。初期は無料プランの範囲での検証を前提とし、 有料プランでの検証を行う場合はその旨と条件を結果ページに明記します。