医療における AI は偏見に対抗する必要があり、偏見をこれ以上固定化させないようにする必要がある : Shots

から

による

ライアン・リーヴァイ

、

ダン・ゴレンスタイン

医療分野における AI はまだ初期段階にありますが、すでに一部のツールでは人種的偏見が見つかっています。 ここでは、ジョージ・フロイド殺害後の人種的不正義に抗議するカリフォルニア州の病院の医療専門家たち。 マーク・ラルストン/AFP、ゲッティイメージズ経由 キャプションを隠す

医療分野における AI はまだ初期段階にありますが、すでに一部のツールでは人種的偏見が見つかっています。 ここでは、ジョージ・フロイド殺害後の人種的不正義に抗議するカリフォルニア州の病院の医療専門家たち。

医師、データサイエンティスト、病院幹部らは、人工知能がこれまで解決困難だった問題の解決に役立つ可能性があると信じている。 AI は、臨床医による乳がんの診断、X 線写真の読み取り、より多くのケアが必要な患者の予測を支援する可能性をすでに示しています。 しかし、興奮が高まるにつれ、リスクも生じます。これらの強力な新しいツールは、ケアの提供方法における長年にわたる人種的不平等を永続させる可能性があります。

デューク・ヘルス・イノベーション研究所の主任データサイエンティスト、マーク・センダック博士は、「これをめちゃくちゃにすると、体系的な人種差別を医療システムにさらに根付かせ、本当に本当に人々に害を及ぼす可能性がある」と述べた。

これらの新しいヘルスケア ツールは、多くの場合、請求情報やテスト結果などの大規模なデータ セットからパターンを見つけるようにアルゴリズムがトレーニングされる AI のサブセットである機械学習を使用して構築されます。 これらのパターンは、患者が敗血症を発症する可能性など、将来の結果を予測できます。 これらのアルゴリズムは、病院内のすべての患者を同時に常に監視し、過労のスタッフが見逃してしまう可能性のある潜在的なリスクを臨床医に警告します。

しかし、これらのアルゴリズムが構築されるデータには、米国の医療を長年悩ませてきた不平等や偏見が反映されていることがよくあります。 研究によると、臨床医は白人の患者と有色人種の患者に異なるケアを提供することがよくあります。 患者の治療方法の違いはデータに保存され、アルゴリズムのトレーニングに使用されます。 有色人種は、これらのトレーニング データセットで過小評価されることもよくあります。

「過去から学ぶと、過去を再現することになります。過去をさらに定着させることになります」とセンダック氏は言う。 「なぜなら、あなたは既存の不平等を考慮し、それを医療がどのように提供されるべきかについての願望として扱うからです。」

サイエンス誌に掲載された2019年の画期的な研究では、1億人以上の医療ニーズを予測するために使用されたアルゴリズムが黒人患者に対して偏っていたことが判明した。 このアルゴリズムは、医療支出に基づいて将来の医療ニーズを予測しました。 しかし、歴史的に治療へのアクセスが少ないため、黒人患者の支出は少なくなることがよくありました。 その結果、アルゴリズムに基づいて特別な治療が推奨されるには、黒人患者の症状がさらに悪化する必要がありました。

バイアスを含む可能性のあるデータを使用して臨床 AI ツールを構築しようとする試みについてセンダック氏は、「本質的には地雷のある場所を歩いていることになる」と述べ、「そして（注意しないと）あなたのものは爆発し、人々を傷つけることになるでしょう」と語った。 。」

2019 年の秋、センダック氏は小児救急医学の医師エミリー ステレット博士と協力して、デューク大学病院の救急部門における小児敗血症の予測に役立つアルゴリズムを開発しました。

敗血症は、体が感染症に過剰に反応し、自身の臓器を攻撃したときに発生します。 小児ではまれですが、米国では年間約 75,000 人の患者が発生していますが、この予防可能な症状は 10% 近くの小児にとって致命的です。 敗血症は、すぐに発見された場合、抗生物質で効果的に治療されます。 しかし、発熱、心拍数の上昇、白血球数の増加などの典型的な初期症状は、風邪など他の病気に似ているため、診断は困難です。

子供の敗血症の脅威を予測できるアルゴリズムは、全国の医師にとって大きな変革となるでしょう。 「子どもの命がかかっているとき、人間の誤りを補うためにAIが提供できるバックアップシステムを持つことは、本当に本当に重要だ」とステレット氏は語った。

しかし、サイエンス誌に掲載された偏見に関する画期的な研究により、センダックとステレットはデザインに注意を払う必要があることが強調されました。 チームは 1 か月かけて、簡単にアクセスできるが不完全な請求データではなく、バイタルサインと臨床検査に基づいて敗血症を識別するアルゴリズムを学習しました。 開発の最初の 18 か月間でプログラムに微調整が加えられると、アルゴリズムが人種や民族に関係なく敗血症を同等に検出することを保証するための品質管理テストが開始されました。

しかし、意図的かつ系統的な取り組みからほぼ3年が経過した後、研究チームはバイアスがまだ紛れ込んでいる可能性があることを発見した。デューク大学の小児感染症プログラムの世界保健研究員であるガンガ・モーシー博士は、デューク大学の医師は注文に時間がかかるという開発者の研究結果を示した。ヒスパニック系の子供たちの血液検査では、白人の子供たちよりも最終的に敗血症と診断された。

「私の主な仮説の一つは、医師たちはおそらくヒスパニック系の子どもたちよりも白人の子どもたちの病気をもっと深刻に受け止めているのではないかということだった」とムーシー氏は語った。 彼女はまた、通訳の必要性がプロセスを遅らせているのではないかとも疑問に思った。

「私は自分自身に腹を立てていました。どうしてこれを見られなかったのでしょうか？」 センダックは言った。 「私たちは、これらの微妙な点をすべて完全に見逃していました。これらのいずれかが常に真であれば、アルゴリズムにバイアスが導入される可能性があります。」

センダック氏は、チームがこの遅れを見落としており、ヒスパニック系の子供たちは他の子供たちより敗血症の発症が遅いという不正確な情報をAIに教えていた可能性があり、その時間差は致命的になる可能性があると述べた。

過去数年にわたって、病院と研究者はベストプラクティスを共有し、偏見と戦うための「戦略」を開発するために全国的な連合を結成してきました。 しかし、この新しいテクノロジーがもたらす資本への脅威を考慮している病院はほとんどないことを示す兆候があります。

研究者のペイジ・ノン氏は昨年、13の学術医療センターの職員にインタビューしたが、機械学習アルゴリズムの開発や精査の際に人種的偏見を考慮すると答えたのはわずか4施設だった。

「病院や医療制度の特定のリーダーがたまたま人種的不平等について個人的に懸念を抱いていたとしたら、それは彼らがAIについてどのように考えているかを知ることになるだろう」とノン氏は述べた。 「しかし、構造的なものは何もありませんでした。そのように考えたり行動したりすることを規制や政策レベルで要求するものは何もありませんでした。」

何人かの専門家は、規制の欠如により、AI の一角が「西部開拓時代」のようだと感じていると述べています。 2021年の個別の調査では、AIにおける人種的偏見に関する食品医薬品局の方針は不均一で、公的アプリケーションに人種情報を含めるアルゴリズムもほんの一部であることが判明した。

バイデン政権は過去10カ月にわたり、この新興技術向けのガードレールを設計するための提案を相次いで発表した。 FDAは現在、開発者に対し、バイアスを軽減するために講じられた措置と、新しいアルゴリズムを支えるデータソースの概要を説明するよう求めていると述べた。

国家医療情報技術調整官局は4月、開発者に対し、アルゴリズムの構築にどのようなデータが使用されているかの全体像を臨床医と共有することを義務付ける新たな規制を提案した。 同庁の最高プライバシー責任者であるキャサリン・マルケシーニ氏は、この新しい規制は、医師が「アルゴリズムの作成に使用される成分」を知るのに役立つ「栄養表示」であると説明した。 透明性が高まることで、アルゴリズムが患者に安全に使用できるほど偏りのないものであるかどうかを医療提供者が判断できるようになることが期待されています。

米国保健福祉省公民権局は昨夏、臨床医、病院、保険会社が「意思決定における臨床アルゴリズムの使用による」差別を明確に禁じる最新の規制を提案した。 同局のディレクター、メラニー・フォンテス・ライナー氏は、連邦差別禁止法ですでにこの行為は禁止されているが、同局は「これが単なる『既製品を買って終わり』ではないことを（プロバイダーや保険会社に）確実に認識してもらいたいと考えている」と述べた。あなたの目を使ってください。」

AI とバイアスの専門家の多くはこの新たな注目を歓迎していますが、懸念もあります。 複数の学者や業界リーダーらは、自社のAIツールが公平であることを証明するために開発者が何をしなければならないかをFDAが公開ガイドラインに正確に明記することを望んでいると述べた。 独立した研究者がコードに問題がないか評価できるように、開発者にアルゴリズムの「成分リスト」を公開するようONCに要求する人もいる。

一部の病院や学者は、これらの提案、特にHHSによる差別的AIの使用の明確な禁止が逆効果になるのではないかと懸念している。 「私たちが望んでいないのは、このルールがあまりにも恐ろしいもので、医師たちが『わかった、私は診療でAIを一切使用しない。リスクを負いたくないだけだ』と言うことだ」とカーメル・シャチャー氏は語った。 、ハーバード大学法科大学院ペトリーフロム健康法政策センターのエグゼクティブディレクター。 シャチャー氏と数人の業界リーダーは、明確な指針がなければ、リソースが少ない病院は法律の正しい側を維持するのに苦労する可能性があると述べた。

デューク大学のマーク・センダック氏は、アルゴリズムからのバイアスを排除するための新たな規制を歓迎している、「しかし、規制当局の意見が聞こえていないのは、『我々は、これらのものを特定し、これらのものを監視するために必要なリソースを理解している』ということだ。この問題に確実に対処するための投資を行っています。」

連邦政府は今世紀初め、医師や病院が電子医療記録を導入するよう促し、支援するために350億ドルを投資した。 AI とバイアスに関する規制提案には、金銭的なインセンティブや支援は含まれていません。

追加の資金と明確な規制ガイドラインが不足しているため、AI 開発者は今のところ自分たちで問題のトラブルシューティングを行う必要があります。

デューク大学では、小児敗血症の予測に役立つアルゴリズムがヒスパニック系患者に偏っている可能性があることを発見した後、チームは直ちに新たな検査を開始した。 このアルゴリズムがすべての患者に対して同じ速度で敗血症を予測すると最終的に判断するまでに 8 週間かかりました。 センダック氏は、ヒスパニック系の子供たちがアルゴリズムに組み込まれるには、敗血症の症例が少なすぎて時間の遅れがあったのではないかと仮説を立てている。

センダック氏は、この結論は安堵というよりもむしろ冷静な結果だったと語った。 「ある特定のまれなケースで、偏見を防ぐために介入する必要がなかったのは安心できない」と同氏は語った。 「潜在的な欠陥に気づくたびに、『他にどこで問題が起こっているのか？』と尋ねる責任が生じます。」

センダック氏は、人類学者、社会学者、地域住民、患者が協力してデュークのアルゴリズムの偏見を根絶する、より多様なチームを構築する予定だ。 しかし、この新しい種類のツールが害よりも多くの利益をもたらすためには、医療セクター全体がその根底にある人種的不平等に対処する必要があるとセンダック氏は考えています。

「鏡を見なければなりません」と彼は言いました。 「自分自身、一緒に働く人々、自分が所属する組織について厳しい質問をする必要があります。なぜなら、実際にアルゴリズムのバイアスを探しているのであれば、多くのバイアスの根本原因は不平等だからです」注意下に。"

この話は医療政策ポッドキャスト「Tradeoffs」から来ています。 Dan Gorenstein は Tradeoffs の編集長、Ryan Levi は番組の上級プロデューサーです。 Tradeoffs の優れた診断に関する報道は、ゴードンおよびベティ ムーア財団によって部分的にサポートされています。