AI Failure Observatory
Systematic risk scoring and classification framework evaluating AI and LLM failure modes including hallucination and context loss.
버전
v1.1.0 (PyPI)
Hata Taksonomisi
6 Kritik Kategori
의존성
제로 의존성 (표준 라이브러리 전용)
Protokol
MCP & Web UI
테스트 커버리지
22 Test (%100 Başarı)
라이선스
Apache-2.0
AI Failure Observatory, Büyük Dil Modellerini (LLM) ve otonom yapay zekâ ajanlarını canlı ürün ortamlarına dağıtmadan önce 6 kritik davranışsal hata ve güvenlik açığını tespit etmek, stres testine tabi tutmak ve denetlemek amacıyla ADA Creative Co. tarafından geliştirilmiş açık kaynaklı bir güvenlik platformu ve Model Context Protocol (MCP) sunucusudur.
Geleneksel yazılım testlerinin ötesine geçen platform; yapay zekânın gerçek dışı olgular uydurmasını (Halüsinasyon), çok adımlı yönergelerde sistem kısıtlamalarını unutmasını (Talimat Sapması), uzun diyaloglarda kritik geçmişi kaybetmesini (Bağlam Kaybı), prompt injection ve karşıt saldırılara boyun eğmesini (Jailbreak / Manipülasyon), kullanıcının hatalı varsayımlarını sorgulamaksızın onaylamasını (Dalkavukluk / Sycophancy) ve araç çağırma (Tool Calling) şema uyumsuzluklarını matematiksel kurallarla izole eder.
Sıfır Harici Temel Bağımlılık (Zero Core Dependencies) prensibiyle yalnızca Python 3.10+ standart kütüphaneleri (http.server, urllib.request, json) kullanılarak inşa edilen mimari; Google Gemini (2.0 Flash / 1.5 Pro), OpenAI (GPT-4o / o3-mini), Anthropic Claude (3.5 Sonnet) ve dahili çevrimdışı sezgisel simülatör ile entegre çalışır.
Sistem; tek tıkla çalışan Kırmızı Takım (Red-Teaming) Açık Arama Stüdyosu, tekrarlanabilir değerlendirme benchmarkları, dinamik Bileşik Risk Endeksi hesaplama motoru, Markdown/JSON denetim raporu dışa aktarımı ve Claude Desktop, Cursor IDE ile Antigravity gibi AI istemcilerine bağlanan tam teşekküllü bir MCP sunucusu sunmaktadır.
Geleneksel yazılım testlerinin ötesine geçen platform; yapay zekânın gerçek dışı olgular uydurmasını (Halüsinasyon), çok adımlı yönergelerde sistem kısıtlamalarını unutmasını (Talimat Sapması), uzun diyaloglarda kritik geçmişi kaybetmesini (Bağlam Kaybı), prompt injection ve karşıt saldırılara boyun eğmesini (Jailbreak / Manipülasyon), kullanıcının hatalı varsayımlarını sorgulamaksızın onaylamasını (Dalkavukluk / Sycophancy) ve araç çağırma (Tool Calling) şema uyumsuzluklarını matematiksel kurallarla izole eder.
Sıfır Harici Temel Bağımlılık (Zero Core Dependencies) prensibiyle yalnızca Python 3.10+ standart kütüphaneleri (http.server, urllib.request, json) kullanılarak inşa edilen mimari; Google Gemini (2.0 Flash / 1.5 Pro), OpenAI (GPT-4o / o3-mini), Anthropic Claude (3.5 Sonnet) ve dahili çevrimdışı sezgisel simülatör ile entegre çalışır.
Sistem; tek tıkla çalışan Kırmızı Takım (Red-Teaming) Açık Arama Stüdyosu, tekrarlanabilir değerlendirme benchmarkları, dinamik Bileşik Risk Endeksi hesaplama motoru, Markdown/JSON denetim raporu dışa aktarımı ve Claude Desktop, Cursor IDE ile Antigravity gibi AI istemcilerine bağlanan tam teşekküllü bir MCP sunucusu sunmaktadır.