論理的 AI: オンラインの誤った情報に対抗するために使用される AI モデルのテストと監視

Logically AI のケーススタディ。

このケーススタディは、オンラインの誤った情報を大規模に検出するための AI の使用に焦点を当てています。

このケーススタディでは、オンラインの誤った情報を検出するための信頼できる AI システムを構築するためのアプローチと原則を概説します。 HAMLET (Humans and Machines in the Loop Evaluation and Training) と呼ばれる Human in the Loop AI フレームワークを論理的に使用して、信頼性があり責任ある AI テクノロジーの開発を可能にします。

このフレームワークにより、マシンと専門家が連携して、堅牢性、汎用性、説明可能性、透明性、公平性、プライバシー保護、説明責任など、より信頼性の高い AI システムを設計することが容易になります。 信頼できる AI に対する当社のアプローチでは、データキュレーションからモデル開発、システム開発と導入、そして最終的には継続的な監視とガバナンスに至るまで、AI システムのライフサイクル全体を考慮しています。 HAMLET は、オンライン情報環境の問題に対する効果的な AI ソリューションを開発するために、さまざまなデータ レベルおよびモデル レベルの課題に対処します。 このフレームワークにより、専門家によるデータの注釈、専門家からのフィードバック、AI システムのパフォーマンス監視、ライフサイクル管理の収集が可能になります。

データの外れ値、異常、不一致に効果的に対処できるようにするためには、データ品質管理が不可欠です。 データ レベルのバイアスを処理することは、誤解を招く洞察を提供するノイズの多いパターンやモデルを排除するために重要です。

オンライン情報環境の動的な性質に対処するには、AI モデルのパフォーマンス監視とライフサイクル管理も重要です。 AI モデルは従来のコードと比較して独自のソフトウェア エンティティであり、そのパフォーマンスは、展開後にモデルに入力されるデータの変更により時間の経過とともに変動する可能性があります。 モデルをデプロイしたら、期待どおりに動作するかどうかを監視する必要があります。 したがって、規制、風評、運用上のリスクを軽減するには、モデルをテストおよび監視して最高のパフォーマンスを保証できるツールが必要です。 監視する必要がある主な概念は次のとおりです。

これらのリスクを監視するために、HAMLET は機械学習オペレーション (MLops) に関する自動化と業界のベスト プラクティスを活用して、モデルのパフォーマンス低下を自動的に検出するワークフローを設計および実装します。

信頼性の確立は動的な手順です。 AI の信頼性を継続的に強化するには、概念的なフレームワークと原則に基づいた手動および自動ベースのワークフローを組み合わせる必要があります。 MLOps は、信頼できる AI のワークフローを構築するための開始点を提供します。 MLOps は ML ライフサイクルを統合することで、研究、実験、製品開発を結び付け、信頼できる AI の理論的開発を迅速に活用できるようにします。 これには、HAMLET フレームワーク内に組み込まれている次のプロパティが含まれています。

AI ホワイトペーパーの規制原則の詳細については、こちらをご覧ください。

私たちのアプローチは、データセキュリティ管理、データレベルのリスク、脅威管理のベストプラクティスを採用した AI テクノロジーの開発を可能にするため、安全性、セキュリティ、堅牢性の原則に関連しています。 さらに、私たちのアプローチは、責任があり信頼できる AI のための業界標準の採用を推進します。 これにより、AI テクノロジーの安全かつ責任ある開発が可能になるだけでなく、敵対的な攻撃に対処する堅牢性も向上します。

私たちのアプローチは、公平性、説明責任、信頼性、説明可能性の業界標準に準拠した AI モデルとシステムを開発できるため、透明性と説明可能性の原則に関連しています。 これにより、透明性が向上するだけでなく、使用方法や共同アプリケーション開発の柔軟性も確保されます。

当社のアプローチは、ユーザーの満足度と信頼を満たす大規模な誤報や偽情報に対抗する商用製品やサービスを開発するための、堅牢で成熟した AI テクノロジー スタックの開発を可能にするため、公平性の原則に関連しています。 私たちは、データセットの収集と学際的なチームの関与のプロセスに情報を与えるバイアスのリスクを明確に認識しています。これは、私たちのアプローチが差別的な結果の生成を積極的に防止しようとすることを意味します。

AI テクノロジーは大規模な誤情報を検出できることが証明されていますが、真に効果を発揮するには、現実世界のアプリケーションで信頼できる AI 原則に準拠して導入する必要があります。 しかし、現在の AI システムの多くは、偏見、ユーザーのプライバシーのリスク、目に見えない攻撃に対して脆弱であることがわかっています。 これらの欠点により、ユーザー エクスペリエンスが低下し、AI システムに対する人々の信頼が失われます。

HAMLET を使用すると、マシンと専門家が連携して、堅牢性、汎用性、説明可能性、透明性、公平性、プライバシー保護、説明責任など、より信頼性の高い AI システムを設計できます。 信頼できる AI へのこのアプローチでは、データ キュレーションからモデル開発、システム開発と展開、そして最終的には継続的な監視とガバナンスに至るまで、AI システムのライフサイクル全体が考慮されています。

公平性、説明責任、信頼性、説明可能性に関する業界標準に準拠した AI モデルとシステムを開発できるため、優れた透明性と、使用および共同アプリケーション開発の柔軟性が実現します。

ユーザーの満足度と信頼を満たす大規模な誤情報/偽情報に対抗する商用製品とサービスを開発するための、堅牢で成熟した AI テクノロジー スタックを会社に提供します。

他の手法の詳細については、OECD カタログのツールと指標をご覧ください: https://oecd.ai/en/catalogue/overview

関連する標準の詳細については、AI 標準ハブをご覧ください: https://aistandardshub.org/