EFFが取得した新たな記録が、メディケールのAIを活用した事前承認プログラムの問題点に加え、政府による自動意思決定に関するより強力な法的制限の必要性を浮き彫りにする自動意思決定.
EFF訴訟政府に対し、3月に情報提供を浪費的および不適切なサービス削減(WISeR)モデル, メディケアプログラムで、特定の医療サービスに対する事前承認の要求を評価するためにAIを使用します。以前に公開された記録を示す。これによると、WISeRは、医療サービスの遅延、拒否、業務の混乱、および患者への危害に関する報告につながっています。本日、800ページ以上の新しい記録を公開します。これには、以下のものが含まれます:
- メディケア&メディケイドサービス(CMS)から、6社のWISeRベンダーのうち4社に送られた、情報要求(RFIs)または是正計画(CAPs)の要求と、それらのベンダーからの回答。
- WISeRモデルへの66社の申請、その中には6社が含まれる。
- WISeRモデルの評価、実装、および監視に関するタスクオーダーおよび契約。
EFFによる訴訟を通じて入手した文書は、ここにあります。これらの新たに公開された文書は、WISeRの導入が当初から急ぎ足で、そして不安定であったことを示しており、政府が….
これらの新たに公開された文書は、WISeRの導入が当初から急ぎ足で、そして不安定であったことを示しており、政府が…AI を万能な解決策のように扱う複雑な問題に対して。これらの文書は、不適切な AI による拒否に対する安全対策に関する透明性の向上も強調しています。一般の人々は、医療専門家による AI システムの監督が意味のあるものかどうか、および適切なデータが利用されているかどうかを評価するために必要な情報が不足しています。
EFF はずっと主張しているAI は、人々の権利や福利へのアクセスに関する、重大な政府の決定において、適切な場所にはない不法移民取り締まりおよび警察活動決定。これは、これらの状況で自動化された意思決定を使用することが、人々の権利を侵害したり、偏ったまたは不適切な考慮に基づいて、または適切な手続きや説明責任なしに、彼らが受け取るはずの利益を剥奪したりする決定につながるリスクがあるためです。
十分な透明性、テスト、または法的制限なしに、プライベートAI企業に意思決定を委託することで、WISeRは高齢者の医療へのアクセスを危険にさらしています。議会は、メディケアにおける自動化された意思決定の使用に対するより強力な法的制限を設けるべきです。
WISeRの導入は急ぎ足で、うまくいかなかった
CMSは、わずか6か月後にWISeRプログラムを開始しました。発表それは、呼びかけにもかかわらず、医療提供者プログラムの展開を遅らせる。以前公開されたEFFの記録には、CMSが「極めて短い期間.”
新しい記録によると、WISeRの異常に迅速な展開が、プログラムの初期数か月における広範な問題に貢献した。CMSは、機関の従業員が個別にベンダーに連絡して、プログラムの要件への潜在的な不適合について問い合わせたにもかかわらず、これらの問題の範囲を一般に開示しなかった。
プログラムの最初の3か月、CMSはWISeRの6社のうち少なくとも4社に、遅延、技術的な問題、およびプロバイダーとのコミュニケーション不足に関する情報を求めた。これらの要求は、プログラム展開中の広範な問題が、1社または州に限定されなかったことを示唆している。
これらの手紙は、プログラムの問題の深刻さを強調している。たとえば、CMSは、Virtix社を含む1社に、多数の報告された問題に関する情報を提供し、「確立されたガイドラインを超える、決定の処理時間を,” “適用される基準と矛盾する、または不正確に見える拒否、および不十分な顧客サービス。CMSのZyterへのRFI –Palantir ソフトウェアインフラを使用–機関が「~という報告を受けている」と観察Zyterは、適切なタイミングで決定書を発行していない」「および、プロバイダー/サプライヤーの懸念に対応し、エスカレーションするための適切なプロセスが不足していることを示唆するコミュニケーションを発行している適切なプロセスを持っていない可能性がある供給業者Innovaccerは、WISeRプロバイダーおよびサプライヤー向けの完全に機能するポータルを実装できなかったことについて、CMSから2つのCAP要求と「パフォーマンスに関する非準拠通知」を受け取った。
CMSのベンダーへの手紙からの抜粋:WISeRの導入中に発生した問題について。
抜粋Virtix向けのRFI2026年3月17日
記事からの抜粋Zyter 向け RFI2026年2月27日
記事からの抜粋Innovaccer のコンプライアンス違反に関する通知2026年2月20日
ベンダーのCMSへの回答は、WISeRの急ぎ出した展開が問題の原因となったことをさらに裏付けている。Innovaccerは主張したそれはCMSに、開始日までに完全なポータル機能を提供できない可能性があることを数か月前に警告した。これは、他のベンダーがWISeRプログラムに参加した1か月後の、圧縮された実装期間に直面した「技術的およびワークフローの安定化上の課題」を指摘している。
抜粋からInnovaccerの提案CAP2026年1月16日
CMSがベンダーに送った手紙と、それに対するベンダーの回答に反映されている問題は、適切なテストや安全策なしで自動化された意思決定システムを導入することのリスクを示している。ベンダーの 回答 説明する 修正CMSが特定した問題に対処するため、事後的な対策は、悪影響を打ち消すことはできない患者と医療提供者がWISeRの急な導入中にすでに経験した
AI の安全対策に関するさらなる透明性が必要
一般の人々は、WISeR のベンダーが採用した安全対策に関する情報を、依然として非常に少ないWISeR の支払い構造は、政府が言うように、ベンダーに「できるだけ多くの請求を拒否するインセンティブを与える.”
ベンダーが提供した「自動化の責任あるかつ臨床的に適切な適用を保証する」という安全対策に関する情報が、EFFに公開された記録から削除されていることが示唆されています。EFFに公開された記録から削除された。
公衆は、削除されていない安全対策の効果を評価するための手段が限られています。例えば、あるベンダーのアプリケーションは、「〜のような」安全対策を強調しています。EFFに公開された記録から削除された。EFFに公開された記録から削除された。人を介したワークフロー (HITL),” “継続的なモデル監視、および「透明な監査記録。しかし、これらの対策が不適切な事前承認の拒否を効果的に防ぐかどうかは依然として不明です。いくつかの証拠は、そうではない可能性があることを示唆しています:その会社承認した申請よりも、拒否した申請の数を多くしたプログラムの最初の数か月、CMSは「~について問い合わせた」適用される基準と矛盾する、または不正確に見える拒否.”
最終的に、EFFが取得した記録は、WISeRのベンダーが使用している安全対策について、答えよりも多くの疑問を提起する
人を巻き込むことは、おそらく十分ではない
CMSは、不適切なAIによる却下を防ぐための重要な安全対策として、人間の関与を重視しています。WISeRのFAQページCMSのウェブサイトには、「非承認は、人間の臨床医によるレビューが必要であり、技術のみで実行することはできません」と記載されています。しかし、人間のレビューがどれだけ有効な保護を提供するかは、その実装の詳細に依存します。例えば、人間のレビュー担当者が、要求を評価するのに十分な時間と、AIの推奨を上回る実質的な権限を持っているかどうかです。WISeRのベンダーについては、これらの詳細がまだ不足しています。
A成長 体のスチューディア「人間による監視」政策が、AIシステムに対する保護手段として、大きな限界を抱えていることを示唆しています。AIによって生成された推奨事項は、人間の判断に過度に影響を与え、レビュー担当者が自動化された判断に過度に依存し、それを正しいと承認してしまう可能性があります。さらに悪いことに、少なくとも1つの医療保険会社は、積極的に臨床レビュー担当者にプレッシャーをかけるAIシステムの推奨事項を受け入れる別の会社臨床レビュー担当者が、患者のファイルを開かずに請求を却下できるようにするシステムを構築しました。このシステムを使用する臨床レビュー担当者は、1つのケースあたり平均で1.2秒しかかかりませんでした。
適切なデータが企業の意思決定に役立っていますか?
一部のWISeRベンダーのアプリケーションは、意思決定に役立つデータの一般的な説明を提供しています。しかし、医療専門家がこれらのAIシステムへの入力データが、以前の承認要求の評価に適しているかどうかを判断できるように、さらに詳細な情報が必要です。
不適切なトレーニングデータまたは入力データは、偏った、不公平な、または不正確な意思決定につながる可能性があります。CMSのガイダンスメディケアアドバンテージ組織がAIを使用してカバー決定を行う際に、個々の患者の状況に基づいて意思決定を行うことの重要性を強調しています。個々の患者の医療記録、医師の推奨、または臨床記録ではなく、「より大きなデータセットに基づいてカバーを決定するアルゴリズム」を使用することに警告しています。
WISeRのベンダー向けアプリケーションの参照データソース例として、「プロバイダーの行動,” “患者の人口統計データ,” “医療利用管理データセット,” “プロバイダーと保険会社のパフォーマンス指標,”と“史的な主張データ。これらの情報源が個々の意思決定に偏りをもたらしたり、集団レベルのパターンに過度な重みを置いたりする可能性があるかどうかは、ベンダーがそれらをどのように使用するかによって決まります。しかし、ベンダーのデータとアルゴリズムに関する重要な詳細はまだ明らかになっていません。政府が意思決定を民間企業のAIシステムに委託することで、公衆が意思決定が公正に行われているかどうかを評価することが困難になっています。
次のステップ
政府が自動意思決定の使用を拡大するにつれて、重大な誤りの可能性は急速に高まっています。これまでに入手した記録は、米国政府による自動意思決定の急進的な導入と、そのための安全対策の欠如について疑問を投げかけています。EFFは、透明性、監督、法的な制限高リスクシステムにおける自動化された意思決定による人への危害から人々を保護するため。
