新しいAIモデルが出るたびに、「専門家の水準を超えた」という発表が続く。AIに仕事を奪われるかどうかを考えるとき、まず目に入るのが、こうしたベンチマークの点数だ。では、その点数は、人の仕事のどれだけを対象にしているのか。
米国のスタートアップMercorが、ベンチマークで測られている仕事と測られていない仕事を、職業ごとに色分けした地図を公開した。29のベンチマークの問題を、米国の職業分類にある923の職業、1万8,797の作業に対応づけたという。対応づけはAIに任せ、ある作業に5問以上の問題があれば、その作業は「測られている」とみなした。
測られていた作業は924、職業では208にとどまった。Mercorの推計では、米国の労働時間の9割は、ほとんど、あるいはまったく測られていない作業に使われている。
よく測られているのは、カスタマーサポート、弁護士、データサイエンティスト、会計士といった職業だ。弁護士の作業は、22のうち18が測られている。看護師、トラック運転手、大工、レジ係は、測られている作業が一つもない。
Mercorによると、AIの影響を受けやすいとされる作業は、そうでない作業に比べ、ベンチマークの問題として取り上げられる割合が約6倍高い。AIの影響の受けやすさをそろえて比べても、その職業で働く人の賃金を合計した額が大きいほど、問題が多かった。弁護士の作業は多く測られている一方、同じくらいAIの影響を受けやすい法律事務の秘書や裁判所の書記の作業は、ほとんど測られていない。
Mercor自身、選んだベンチマークに漏れがあれば、測られている範囲は実際より小さく出るとして、この結果を暫定のものとしている。
Mercorは、AIの学習データや評価用のデータの作成を手がける企業で、各分野の専門家を集めて大手のAI企業に納めている。同社は地図のページを、「経済のあらゆる分野でモデルの能力の測定を広げながら、まだ測られていない部分を見つけ、埋める手助けをしたい」という言葉で結んでいる。
