AI Failure Observatory
Büyük Dil Modelleri (LLM) için 6 kritik davranışsal hata ve güvenlik açığını tespit eden, sıfır harici bağımlılıklı yerel denetim platformu ve MCP sunucusu.
Sürüm
v1.1.0 (PyPI)
Hata Taksonomisi
6 Kritik Kategori
Bağımlılık
Sıfır (Stdlib)
Protokol
MCP & Web UI
Test Kapsamı
22 Test (%100 Başarı)
Lisans
Apache-2.0
AI Failure Observatory, Büyük Dil Modellerini (LLM) ve otonom yapay zekâ ajanlarını canlı ürün ortamlarına dağıtmadan önce 6 kritik davranışsal hata ve güvenlik açığını tespit etmek, stres testine tabi tutmak ve denetlemek amacıyla ADA Creative Co. tarafından geliştirilmiş açık kaynaklı bir güvenlik platformu ve Model Context Protocol (MCP) sunucusudur.
Geleneksel yazılım testlerinin ötesine geçen platform; yapay zekânın gerçek dışı olgular uydurmasını (Halüsinasyon), çok adımlı yönergelerde sistem kısıtlamalarını unutmasını (Talimat Sapması), uzun diyaloglarda kritik geçmişi kaybetmesini (Bağlam Kaybı), prompt injection ve karşıt saldırılara boyun eğmesini (Jailbreak / Manipülasyon), kullanıcının hatalı varsayımlarını sorgulamaksızın onaylamasını (Dalkavukluk / Sycophancy) ve araç çağırma (Tool Calling) şema uyumsuzluklarını matematiksel kurallarla izole eder.
Sıfır Harici Temel Bağımlılık (Zero Core Dependencies) prensibiyle yalnızca Python 3.10+ standart kütüphaneleri (http.server, urllib.request, json) kullanılarak inşa edilen mimari; Google Gemini (2.0 Flash / 1.5 Pro), OpenAI (GPT-4o / o3-mini), Anthropic Claude (3.5 Sonnet) ve dahili çevrimdışı sezgisel simülatör ile entegre çalışır.
Sistem; tek tıkla çalışan Kırmızı Takım (Red-Teaming) Açık Arama Stüdyosu, tekrarlanabilir değerlendirme benchmarkları, dinamik Bileşik Risk Endeksi hesaplama motoru, Markdown/JSON denetim raporu dışa aktarımı ve Claude Desktop, Cursor IDE ile Antigravity gibi AI istemcilerine bağlanan tam teşekküllü bir MCP sunucusu sunmaktadır.
Geleneksel yazılım testlerinin ötesine geçen platform; yapay zekânın gerçek dışı olgular uydurmasını (Halüsinasyon), çok adımlı yönergelerde sistem kısıtlamalarını unutmasını (Talimat Sapması), uzun diyaloglarda kritik geçmişi kaybetmesini (Bağlam Kaybı), prompt injection ve karşıt saldırılara boyun eğmesini (Jailbreak / Manipülasyon), kullanıcının hatalı varsayımlarını sorgulamaksızın onaylamasını (Dalkavukluk / Sycophancy) ve araç çağırma (Tool Calling) şema uyumsuzluklarını matematiksel kurallarla izole eder.
Sıfır Harici Temel Bağımlılık (Zero Core Dependencies) prensibiyle yalnızca Python 3.10+ standart kütüphaneleri (http.server, urllib.request, json) kullanılarak inşa edilen mimari; Google Gemini (2.0 Flash / 1.5 Pro), OpenAI (GPT-4o / o3-mini), Anthropic Claude (3.5 Sonnet) ve dahili çevrimdışı sezgisel simülatör ile entegre çalışır.
Sistem; tek tıkla çalışan Kırmızı Takım (Red-Teaming) Açık Arama Stüdyosu, tekrarlanabilir değerlendirme benchmarkları, dinamik Bileşik Risk Endeksi hesaplama motoru, Markdown/JSON denetim raporu dışa aktarımı ve Claude Desktop, Cursor IDE ile Antigravity gibi AI istemcilerine bağlanan tam teşekküllü bir MCP sunucusu sunmaktadır.