Automating Inequalityを読んだ感想文

h
·

今年三冊目の本は自分が学んでいる内容に近い本を選んでみた。どうしてもしっかり理解したかったのでこの本ではActive Readingを意識した。私的なActive Readingになってしまうが、わからない文法や単語はなるべく調べて、議論したい場合はChatGPTに話したりした。ただ全ての文章に精読並みのエネルギーを注ぐとかなり時間も労力もかかって挫折してしまうのであくまで重要そうなポイントでやるのが長続きのコツ。

Automating Inequality: How High-tech Tools Profile, Police, and Punish the Poorは昨今のデータドリブンなシステムに基づく差別やテクノロジーが貧困層にどう影響を及ぼすかについてアメリカの3つのシステムの例を元に調査を行われたのだがこれがかなり衝撃的であった。私なりに気付いた点を以下にまとめていく。

19世紀のアメリカでは、Poorhouseという貧困層に対する社会的な対応の一形態とした施設が設立された。これらの施設は、老人、病人、障害者、孤児、精神疾患を持つ人々など、援助を必要とする人々を支援することを目的としていたが、実際にはかなり過酷な環境であり、住居者に対する質の低いケアが提供されていた。また、こうした施設の設立には、無差別な社会福祉が労働意欲を削ぐという考え方や、社会秩序や経済的倹約を維持するために貧困層を特定の場所に隔離する必要性が反映されていたとも言われている。1927年のBuck v. Bell訴訟は、これらの考え方がどのように極端な形で表れたかを示している。この判決は、精神疾患や知的障害があるとされる人々に対して州が不妊手術を強制できるというバージニア州の法律を支持した。これは、当時の優生学的な考え方や社会の「改善」を目指す政策が、個人の基本的な権利を侵害することにもつながっていた。

そして現在になり、法的保護の強化と公的支出の削減という要求に直面した政治家たちは新しい技術システムを導入するのだがこれは実際には貧困層と彼らの法的権利の間に障壁を作り出し、問題を解決するどころか新たな障壁を作り出したとしており、これがDigital Poorhouseの誕生に繋がっていると著者は指摘している。

インディアナ州の福祉システムの自動化プロジェクトは、主に効率性の向上と不正の防止を目的として設計された。このシステムは、福祉サービスの提供方法を根本的に変更し、ケースワーカーとクライアント間の個人的な関係を犠牲にした。結果として、貧困層や援助を必要とする人々を直接支援することよりも、プロセスの効率化や不正取り締まりに重点が置かれたと言われている。この変更によって、食品券のエラー率の上昇やメディケイド申請の誤り、さらには人種的偏見の問題が浮き彫りになり、多くの人々が適切な援助を受けられない状況が生じた。また貧困層がネット環境を確保する為に公共図書館に殺到し、図書館員がその対応をする羽目になったとも記載されており、利用者を完全に無視した設計である。この問題は裁判沙汰となり、最終的にインディアナ州はハイブリッド型のシステムに移行された。

ロサンゼルスではホームレスに対するサービスの優先付けを行うために、各ホームレスの状況をアルゴリズムでスコア化を行っている。これはアンケートのような質問に答えていき、その質問回答を元にスコアリングを行い、緊急度が高いと判断されたホームレスからリソースを優先的に割り当てられていく。一見合理的なシステムに見えるかもしれないがこれにも様々な問題が指摘されている。まずこういった質問などはセンシティブな内容も含まれており、信頼関係がない場合正確な情報が得られない可能性やスコアが低く算出される可能性がある。またリソースにも限界があるため優先度が高いからといって必ず住宅が提供されるわけではない。また緊急度の高い人から対応されていくことでその中間層に当たる人々はサポートを受けられず、そもそもこういった内容を単純に緊急度で表すこと自体が間違っており、貧困は事故や怪我ではなく、もっと根深いものであると著者は指摘している。更にこのデータを収集しているホームレス管理情報システムには令状なしで法執行機関がアクセスできてしまう。個人情報の抹消プロセスも複雑になっていることからデータ収集と追跡に焦点を当てているのではという懸念もある。

アレゲニー郡のデータウェアハウスプロジェクトは様々な部門からの情報を統合し、福祉サービスの提供におけるデータ駆動型の意思決定の基盤を形成した。このプロジェクトは、社会サービスの効率化と改善を目指していたが、同時に、個人情報の管理、プライバシーの懸念、そして予測モデルの精度と倫理的な問題に関連する複数の課題を提起している。このプロジェクトで開発された子供の虐待リスク予測モデルAllegheny Family Screening Tool(AFST)は、完璧な予測力を持つモデルに対して、100%の適合率を持つとされるエリアの下でのレシーバー操作特性(ROC)曲線の下の適合率が76%だった。これは、予測の精度が完全な予測とコイン投げの間の中間程度であることを意味する。精度が76%と聞くと、初めはかなり高いように思えるかもしれないが、実際には完璧な予測と完全なランダム性の中間に過ぎないと指摘。例えば、年間のマンモグラフィー検診の予測精度と似ているとされているが、マンモグラフィーに関しても、偽陽性や偽陰性の影響、年間の放射線被曝に関する懸念から、その推奨が見直されているとのこと。またホットラインへの虐待報告に基づいてリスクを評価していることから虚偽や悪意ある報告も含まれてしまう。

貧困はアメリカの経済的現実の一部であり、多くの人々がその影響を受けている。マーク・ランクの研究によると、アメリカ人の51%が20歳から65歳の間に少なくとも1年間は貧困線以下で生活するとされている。これは、貧困が少数の「問題ある」人々だけの問題ではなく、より広範な社会的問題であることを示している。

一部の専門家や起業家は、ユニバーサル・ベーシック・インカム(UBI)が自動化による雇用の不安定化に対する一つの解決策であり、すべての人に基本的な経済的安全を提供する手段と考えている。しかし、UBIがすべての問題に対する万能薬ではないことも重要だと著者は指摘している。UBIは、受給者に条件なしの現金支給を提供し、生活の質の向上、貧困の軽減、経済的ショックからの保護、創造性や新しいアイデアの試みへの支援など、多くの利点を提供し、厳格な福祉の要件や罰則から解放され、個人が自身のお金の使い方を決定する自由が与えられる。UBIが提供する収入は、多くの場合、財政的安定性を築くには十分ではなく、低賃金労働と組み合わせても家族が経済的に自立するのが困難になる可能性が高い。また、UBIが社会福祉国家の置き換えや民営化として提示される可能性があり、住宅補助、医療ケア、栄養支援、保育、職業訓練へのアクセスが困難になることも懸念される。

最後に著者は技術開発者が自身のデザインの経済的及び社会的な影響を考慮する重要性を訴えており、技術が非貧困層に対しても受け入れられるかどうかや技術が貧困層の自己決定と行動能力を高めるかどうかを評価することを勧めている。こういった点を評価することで、技術がただ便利なだけでなく、実際に社会的な問題を解決する手段として機能するかどうかを判断できる。

プロダクト開発、データ分析に携わる身としてかなり考えさせられる本だったし、ぜひ色んな人に読んでもらいたい内容であった。特に今後はAGIと言われる汎用人工知能も謳われている中、こういった革命には格差も拡大するという歴史もあるとおり、格差が一層強まるのではないかと個人的に思っている。そういった時に求められるのはより平等な社会を目指すことが非常に重要だと再認識させられた。