AI Failure Observatory
Systematic risk scoring and classification framework evaluating AI and LLM failure modes including hallucination and context loss.
バージョン
v1.1.0 (PyPI)
Hata Taksonomisi
6 Kritik Kategori
依存関係
ゼロ（標準ライブラリのみ）
Protokol
MCP & Web UI
テストカバレッジ
22 Test (%100 Başarı)
ライセンス
Apache-2.0
AI Failure Observatory, Büyük Dil Modellerini (LLM) ve otonom yapay zekâ ajanlarını canlı ürün ortamlarına dağıtmadan önce 6 kritik davranışsal hata ve güvenlik açığını tespit etmek, stres testine tabi tutmak ve denetlemek amacıyla ADA Creative Co. tarafından geliştirilmiş açık kaynaklı bir güvenlik platformu ve Model Context Protocol (MCP) sunucusudur.
Geleneksel yazılım testlerinin ötesine geçen platform; yapay zekânın gerçek dışı olgular uydurmasını (Halüsinasyon), çok adımlı yönergelerde sistem kısıtlamalarını unutmasını (Talimat Sapması), uzun diyaloglarda kritik geçmişi kaybetmesini (Bağlam Kaybı), prompt injection ve karşıt saldırılara boyun eğmesini (Jailbreak / Manipülasyon), kullanıcının hatalı varsayımlarını sorgulamaksızın onaylamasını (Dalkavukluk / Sycophancy) ve araç çağırma (Tool Calling) şema uyumsuzluklarını matematiksel kurallarla izole eder.
Sıfır Harici Temel Bağımlılık (Zero Core Dependencies) prensibiyle yalnızca Python 3.10+ standart kütüphaneleri (http.server, urllib.request, json) kullanılarak inşa edilen mimari; Google Gemini (2.0 Flash / 1.5 Pro), OpenAI (GPT-4o / o3-mini), Anthropic Claude (3.5 Sonnet) ve dahili çevrimdışı sezgisel simülatör ile entegre çalışır.
Sistem; tek tıkla çalışan Kırmızı Takım (Red-Teaming) Açık Arama Stüdyosu, tekrarlanabilir değerlendirme benchmarkları, dinamik Bileşik Risk Endeksi hesaplama motoru, Markdown/JSON denetim raporu dışa aktarımı ve Claude Desktop, Cursor IDE ile Antigravity gibi AI istemcilerine bağlanan tam teşekküllü bir MCP sunucusu sunmaktadır.
Geleneksel yazılım testlerinin ötesine geçen platform; yapay zekânın gerçek dışı olgular uydurmasını (Halüsinasyon), çok adımlı yönergelerde sistem kısıtlamalarını unutmasını (Talimat Sapması), uzun diyaloglarda kritik geçmişi kaybetmesini (Bağlam Kaybı), prompt injection ve karşıt saldırılara boyun eğmesini (Jailbreak / Manipülasyon), kullanıcının hatalı varsayımlarını sorgulamaksızın onaylamasını (Dalkavukluk / Sycophancy) ve araç çağırma (Tool Calling) şema uyumsuzluklarını matematiksel kurallarla izole eder.
Sıfır Harici Temel Bağımlılık (Zero Core Dependencies) prensibiyle yalnızca Python 3.10+ standart kütüphaneleri (http.server, urllib.request, json) kullanılarak inşa edilen mimari; Google Gemini (2.0 Flash / 1.5 Pro), OpenAI (GPT-4o / o3-mini), Anthropic Claude (3.5 Sonnet) ve dahili çevrimdışı sezgisel simülatör ile entegre çalışır.
Sistem; tek tıkla çalışan Kırmızı Takım (Red-Teaming) Açık Arama Stüdyosu, tekrarlanabilir değerlendirme benchmarkları, dinamik Bileşik Risk Endeksi hesaplama motoru, Markdown/JSON denetim raporu dışa aktarımı ve Claude Desktop, Cursor IDE ile Antigravity gibi AI istemcilerine bağlanan tam teşekküllü bir MCP sunucusu sunmaktadır.