🧑‍⚖️ AIレビューは、指摘を断る練習になる#

AIにレビューさせるのが当たり前になってきました。コードも、資料も、メールも、場合によってはチャットメッセージ一個でもレビューしてもらうようになっています。
このとき、一番ありがたいのは何だろうと考えていました。指摘が速いこと。24時間いつでも受けてくれること。細かいところを拾ってくれること。どれもそうなんですが、僕にとって一番大きいのはたぶんそこじゃないな〜と思っていて。
それは、断っても何も失わないことだと思いました。

断ってもコストがかからない、という価値#

AIに「その指摘は採用しません」と言っても、機嫌を損ねない。次の評価に響かない。面倒なやつだと思われることもない。理由を根掘り葉掘り聞いても嫌な顔をされないし、別案を三つ出させて全部却下してもいい。

書き出してみると当たり前のことしか言っていないんですが、この当たり前を人間相手で安全にやれる場所って、実はあんまり無かったんじゃないかと思います。
特に仕事において。ですね。

ではなぜ無かったのか。
権威勾配（authority gradient）という言葉があります。もともとは医療や航空の分野で使われているもので、職位や経験や権限の差によって、下の立場の人が確認や反論をしにくくなる構造のことを指します。コックピットで機長の操作に副操縦士が「それ違うのでは」と言えない。手術室で執刀医に看護師が指摘できない。会社だと、偉い人がぽろっと言った「ここ、こうしたら？」が実質の指示として流通する。とか。ここで大事なのは、上の立場の人が威圧しているとは限らないことです。

本人は本当に「好みで言ってるだけ」のつもりだったりする。無邪気にね。無邪気に、良くしたいという気持ちだったり、成果物を思う気持ちだったり、はたまたシンプルな疑問からくる提案だったりもする。
それでも、断ったときに払うコストが上と下で全然違うので、下の側は安全側に倒します。同じ「こうしたら？」という文字列でも、隣の席の同僚が言うのと、評価にも承認にも効いてくる人が言うのとでは、受け取られる強さが違うということです。

そして厄介なことに、レビューという行為はだいたい、この勾配の上から下に向かって流れます。
しかもレビューする側には「本人の意思を尊重したい」という気持ちがあることが多くて、それがなお厄介なんですよね。押し付けたくないから、強さを書かない。書かないから、受け取る側は安全側に倒す。尊重のつもりが、全部 Must に変換されて届く。
なので「断れない方が勇気を出せばいい」で終わらせる話ではないと思っています。そもそも勇気で埋める話ではなくて、強度を書く手間を上の側が払う話だと思っています。

全部飲んだ成果物は、誰も欲しくない#

コストが非対称だと何が起きるか。それは簡単で「指摘を全部受け入れる」がコスト的な最適解になります。

そもそも、レビューコメントには強さが書かれていないことが多い。これは絶対に直してほしいのか、好みで言っているだけなのか、ただの共有なのか。Must / Suggest / FYI みたいな分割ですね。そこが曖昧なまま議論が進むと、受け取る側は安全側に倒します。つまり、全部 Must として扱う。反論して「いや、そこまで言ってないよ」と返されるより、黙って全部直すほうが安いからです。少なくとも、その場においては。
これが複数人から同時に来ると詰みます。それぞれの「こうしたら」が噛み合っていないとき、両方 Must だと思って両方飲むと、成果物は何人かの頭の中を足して割ったような、誰の意見でもないものになる。

個々の指摘は全部「良い指摘」なのに、合成すると誰も求めていないものが出てくる。

そうやってできあがったものの責任を取るのは、指摘した人じゃないんですよね。書いた人です。
「言われた通りに直しました」は、あとから誰も見てくれません。残るのは成果物の方で、それが読みにくかったら、読みにくいものを出した人として記憶される。だから断る練習が要る、というのが今日の話です。
コストが安い方法をとった結果、安かろう悪かろうになってしまう可能性があるということで。

断る練習に、AIが使える#

やることは単純で、読んで、理解して、吟味して、理由をつけて、要るものだけ採る。それだけです。

AI相手ならこれを何回でも試せます。断ったところで誰の機嫌も損ねないので。「この指摘は今回のスコープ外なので採りません」と一行書いて閉じる、をやるだけでも、けっこう感覚が変わります。

この「自分が判断する側だ」という感覚には、実験的な裏付けもあるみたいです。
Skitka らの一連の研究で、人が自動化された助言を鵜呑みにする傾向（automation bias）が調べられています。助言が知らせてくれないものを見逃す誤り（omission）と、他のより確かな情報と矛盾しているのに助言に従ってしまう誤り（commission）。
おもしろいのは、結果に対する説明責任を負わせると、この automation bias が減ったという報告があることです。
「最終的に判断したのは自分だ」という状態にしておくと、鵜呑みが減る。裏を返すと、判断者が曖昧なまま指摘だけが降ってくる状況は、そもそも鵜呑みを誘発する形をしているということでもあります。

もう一つ、練習の設計として身につまされる研究があります。

To Trust or to Think: Cognitive Forcing Functions Can Reduce Overreliance on AI in AI-assisted Decision-making

People supported by AI-powered decision support tools frequently overrely on the AI: they accept an AI's suggestion even when that suggestion is wrong. Adding explanations to the AI decisions does not appear to reduce the overreliance and some studies suggest that it might even increase it. Informed by the dual-process theory of cognition, we posit that people rarely engage analytically with each individual AI recommendation and explanation, and instead develop general heuristics about whether and when to follow the AI suggestions. Building on prior research on medical decision-making, we designed three cognitive forcing interventions to compel people to engage more thoughtfully with the AI-generated explanations. We conducted an experiment (N=199), in which we compared our three cognitive forcing designs to two simple explainable AI approaches and to a no-AI baseline. The results demonstrate that cognitive forcing significantly reduced overreliance compared to the simple explainable AI approaches. However, there was a trade-off: people assigned the least favorable subjective ratings to the designs that reduced the overreliance the most. To audit our work for intervention-generated inequalities, we investigated whether our interventions benefited equally people with different levels of Need for Cognition (i.e., motivation to engage in effortful mental activities). Our results show that, on average, cognitive forcing interventions benefited participants higher in Need for Cognition more. Our research suggests that human cognitive motivation moderates the effectiveness of explainable AI solutions.

arxiv.org

AIの提案を受け取る途中に「立ち止まらせる」仕掛け（cognitive forcing）を三種類入れて比較したものです。結果としては、ただ説明を出すだけのUIと比べて、立ち止まらせる設計は過信を有意に減らした。というものでした。
ただ、この論文で一番刺さったのはそこではなくて、こっちでした。

過信を一番減らした設計に、人は一番低い評価をつけた。つまり、鵜呑みを防ぐ仕掛けというものは、使っていて感じが悪いということです。
まあ、そうだろうなと思います。断るのは面倒くさい。読んで、考えて、理由を言語化して、それでも断る。全部飲むより明らかに手間がかかる。その面倒くささを、人間関係のコストがかからない場所で払う練習をしておく、という話なんだと思っています。面倒くさいからこそ練習が要る、というのは、たぶん筋トレとかと同じですね。
意図的にトレーニングを仕込まれるのは、確かにあまり体感良くないのはそれはそう。自動って最高ですからね。

ただし、AIも上司になれる#

同じAIレビューが、逆に働く人もいるはずです。「レビューとは従うものだ」として仕事を覚えてきた人にとっては、AIは新しい上司のような存在になるだけかもしれない。
AIに会社の役職はありません。でも「こいつは自分より正解を知っている」と思った瞬間に、認識のうえでの権威は成立してしまう。

これも、そういう傾向を示した研究があります。
Algorithm appreciation という名前がついていて、人は同じ助言でも「アルゴリズムが出した」と言われた方をより強く採用した、という結果が出ています。
世間(狭い狭いXの世界)のイメージだと人はAIの判断を警戒しそうなものですが、少なくとも一般の人については逆だった。

しかもこの研究、経験を積んだ専門家は逆にアルゴリズムの助言を軽視しすぎて、そのせいで精度を落としていた、とも報告しています。
鵜呑みにする側と、意地でも聞かない側。どちらも、指摘を判断材料として扱えていないという意味では似たような構造になっているのかもしれません。

「立場が上の人の指摘に従い続けた経験が、そのままAIへの態度に転移する」ということに直接的に言及する研究は、探した範囲では見つかりませんでした。
人がAIに寄りかかりすぎること自体はたくさん研究があるので、そこと権威勾配(従うべき相手としての存在)の話をつないだ、という考察でした。

過信まわりをまとめて眺めたい人には、Microsoft の Aether チームが約60本を整理したレビューが読みやすかったです。
緩和策のつもりでやったことが裏目に出て過信が増える場合がある、みたいな話も入っています。

Overreliance on AI: Literature Review - Microsoft Research

This report shows how and why overreliance on AI makes it difficult for users to meaningfully leverage the strengths of AI systems and to oversee their weaknesses. Based on a literature review of ~60 papers from different research areas, this report provides a detailed overview of how overreliance on AI happens, how to measure overreliance, what its consequences are, and how we can minimize its negative effects.

www.microsoft.com

成果物はあなたではない#

ここまで書いてきて、思い出すのはTeam Geekの話です。

自尊心を、自分の書いたコードに結びつけるな。あなたはあなたのコードではない、と。元をたどるとエゴレスプログラミングにいきつくようですが、僕はこれを Team Geek で知りました。

レビューをされる側にとって、これは「Must は人格攻撃ではないし、Suggest を断るのは裏切りではない」という話になります。成果物と自分が地続きだと思っているから、指摘が怖いし、断るのが後ろめたい。
切り離せていれば、指摘はただの材料で、採否をフラットに決められる。
ただこれ、心構えでどうにかしろという話ではないとも思っています。断っても大丈夫だと分かっている場所でしか、この切り離しは成立しない。順番としては、断れる関係が先で、この規律は後です。そしてその「断れる関係」を人間相手でいきなり作るのは難しいので、AI相手で先に感覚を掴んでおく。今日の話は要するにそれだけのことかもしれません。

そして、これはする側にも大事。むしろする側の方が大事かもしれない。
レビューする側も、「この人が書いたものだから」で重みを変えてはいけない。優秀な人が書いたから軽く流す、経験の浅い人が書いたから細かく詰める。これは成果物ではなく人を見ています。
地位が発言の重みを変えてしまうという話は、裏を返すと、レビュワー自身が地位で重み付けをしているということでもあるので。成果物を人から切り離すのは、される側だけの宿題ではないですね。
「The 管理」という感じで、コントロールしたいのであれば合っているのかもしれません。ただ、地位で重み付けするレビューをやっておいて人が育たないと嘆くのは、因果応報だと感じます。
単純に、僕が好みじゃないっていう話かも。

まとめ#

• 強度（Must / Suggest / FYI）が書かれていないレビューは、受け手が安全側に倒れて全部 Must になる。噛み合わない Must を全部飲んだ成果物は、誰も求めていないものになる
• そしてその成果物の責任を負うのは、指摘した人ではなく書いた人。その場のコストが安い方を選んだ結果が、自分の成果物として残る
• AIレビューは断ってもコストがゼロなので、断る練習台として使える。ただし「レビュー＝従うもの」のまま使うと、AIが新しい上司になるだけ

自分がやろうと思っていることを最後に書いておくと、まずはレビューする側として、自分が出すコメントに強度を書くところからです。そして Suggest を断られたときに、ちゃんと何事もなく通す。
される側としては、AIの指摘を一回止めて「これは採らない、理由はこう」と書く。そこそこ面倒なんですが、面倒なことをやっているという自覚があるうちは、いい効果があるのでしょう。

僕はAIレビューにかなり期待している側の人間なので、ひいき目はあるはずです。もはや全てのアウトプットをレビューしてもらっているし、この記事については構成も壁打ちしているし、文章もレビューしている。
気兼ねなく断れる相手というのはそうそういないので、とても助かっています。これからも活用していこうと思います。

参考#

• Skitka, L. J., Mosier, K., & Burdick, M. D. (2000). Accountability and automation bias. International Journal of Human-Computer Studies, 52(4), 701–717.
• Buçinca, Z., Malaya, M. B., & Gajos, K. Z. (2021). To Trust or to Think: Cognitive Forcing Functions Can Reduce Overreliance on AI in AI-assisted Decision-making. Proceedings of the ACM on Human-Computer Interaction, 5(CSCW1).
• Logg, J. M., Minson, J. A., & Moore, D. A. (2019). Algorithm appreciation: People prefer algorithmic to human judgment. Organizational Behavior and Human Decision Processes, 151, 90–103.
• Passi, S., & Vorvoreanu, M. (2022). Overreliance on AI: Literature Review. Microsoft Research, MSR-TR-2022-12.
• Fitzpatrick, B. W., & Collins-Sussman, B. (2012). Team Geek: A Software Developer’s Guide to Working Well with Others. O’Reilly Media.