AIエッセイ検出はどう動くか（そして完璧でない理由）

AIライティング検出は教育・編集ワークフローの定番になりました。課題をChatGPTやGeminiの署名でスキャンし、出版社は原稿のAI段落を確認し、プラットフォームはAIスパムをふるいにかけます。では実際の仕組みはどうで、なぜ人手の文章がAI扱いされることがあるのか。メカニズムを押さえると、確率的スコアを最終判決として扱わないようにできます。

核心の課題：テキストは統計である

自然言語は根本的に統計現象です。語選び、文構造、段落のリズムはすべて読書と経験から学んだパターンの反映です。言語モデルは膨大な人手テキストで訓練されるため、統計的にもっともらしい人間語を生成します——だから検出が難しい。検出システムの課題は、話題や文体・文脈をまたいでも残る、人手生成とAI生成の微妙な統計差を見つけることです。

パープレキシティ：各単語はどれだけ予測可能か

AIテキスト検出で最も広く使われる指標がパープレキシティ——直前の文脈が与えられたとき、次の単語にどれだけ「驚かされるか」を測ります。人手の文章はパープレキシティが高めになりやすい——意外な語選び、新しいアイデア、慣用句や専門用語の独自の使い方、言語的リスクを取ることです。AI生成テキストは尤度最大化で生成されるためパープレキシティが低めになりやすい——文脈上適切で一般的で予測しやすい語選びです。低パープレキシティが続く節は言語モデル由来のシグナルになり得ます。

バーストネス：複雑さはどれだけ変わるか

第二の主要シグナルはバーストネス——一続きのテキストのなかで文の長さ・構造・複雑さがどれだけ変わるかです。人手の文章は自然に「バースト」します。長い複文のあとに短文、密度の高い技術的段落のあとに比喩、フォーマルな主張のあとにカジュアルな補足。言語モデルは複雑さがそろいがち——各文が独立めいて生成され、深さと構造が似たまま流れ、スムーズだが人間の思考のざらつきに欠けます。検出器はこれらの性質の統計的分散を測ります。

なぜこれらの指標は万能ではないか

パープレキシティとバーストネスは「文体」の性質であり、作者そのものではありません。学生に求められるフォーマルな学術文体は、設計上低パープレキシティ・低バーストネスに寄りやすい——明快で予測可能で一貫した構造が「よい形式的文章」の条件だからです。工学レポート、法律文書、科学の方法節はその典型です。多言語話者は第二言語の熟語のフルレンジを使わないぶん統計的に予測しやすいテキストになりやすい。偽陽性は検出器が壊れている証拠ではなく、統計尺度を正当に重なる領域に適用した帰結です。

訓練データの問題

AIテキスト検出器は既知の人手と既知のAIでラベルされたデータセットで訓練されます。データの質と多様性が精度の上限を決めます。主にChatGPT 3.5出力で訓練した検出器は、統計的特性の異なるClaude 3.5やGPT-4oには一般化しにくい場合があります。英語で訓練した検出器は他言語ではうまく動かないことも。ジェネレータが進化するたびに検出器も再訓練が必要で、新モデルの登場から検出が追随するまでにはラグがあります。

ゼロショット検出とファインチューン検出

検出システムには「ゼロショット」——事前訓練済み言語モデルをそのまま適用してパープレキシティを推定する——アプローチもあれば、ラベル付き例で分類器をファインチューンするアプローチもあります。ゼロショットは（何を測っているか理解しやすい反面）精度は落ちがち。ファインチューン分類器は訓練分布では精度が上がる一方、特定モデル族に過学習しやすい。優れた検出は複数アプローチを組み合わせ、二値判定よりキャリブレーションされた信頼推定を返します。

責任ある検出ツールに何を求めるか

責任あるAIテキスト検出は次をします：二値フラグだけでなく信頼度付きスコアを返す、スコアに最も寄与した節を示してピンポイントレビューを可能にする、既知の失敗モードをユーザーに伝える、重大な決定には人手レビューを推奨する。SUS ITのドキュメント解析は検出結果の理由となるパターンを説明文で示し、数字だけでなく根拠を評価できます。説明のない検出はブラックボックスで、誤用を招きます。

検出結果をどう使うか

自分が書いたのに高いAI尤度が出たら、次の一手は狙い撃ちの推敲です——個人的視点を増やす、文の長さの変動を増やす、自分の経験からくるドメイン固有の語と具体例を足す。改稿後にもう一度検出器にかけ、どの変更がAI出力との統計的類似を下げたか確認できます。教育者や編集者が他者からフラグ付きを受け取ったら、スコアは対話のきっかけであり判決ではありません。プロセスを問い、フラグの節をレビューし、結論の前に追加の証拠を探してください。