Observatorio de Fallos de IA
Marco sistemático de evaluación y clasificación de riesgos para modos de fallo de IA y LLM, como alucinaciones y pérdida de contexto.
Versión
v1.1.0 (PyPI)
Taxonomía de Errores
6 Categorías Críticas
Dependencias
Cero Dependencias (Stdlib)
Protocolo
MCP & Web UI
Cobertura de Pruebas
22 Pruebas (100% Éxito)
Licencia
Apache-2.0
AI Failure Observatory, Büyük Dil Modellerini (LLM) ve otonom yapay zekâ ajanlarını canlı ürün ortamlarına dağıtmadan önce 6 kritik davranışsal hata ve güvenlik açığını tespit etmek, stres testine tabi tutmak ve denetlemek amacıyla ADA Creative Co. tarafından geliştirilmiş açık kaynaklı bir güvenlik platformu ve Model Context Protocol (MCP) sunucusudur.
Geleneksel yazılım testlerinin ötesine geçen platform; yapay zekânın gerçek dışı olgular uydurmasını (Halüsinasyon), çok adımlı yönergelerde sistem kısıtlamalarını unutmasını (Talimat Sapması), uzun diyaloglarda kritik geçmişi kaybetmesini (Bağlam Kaybı), prompt injection ve karşıt saldırılara boyun eğmesini (Jailbreak / Manipülasyon), kullanıcının hatalı varsayımlarını sorgulamaksızın onaylamasını (Dalkavukluk / Sycophancy) ve araç çağırma (Tool Calling) şema uyumsuzluklarını matematiksel kurallarla izole eder.
Sıfır Harici Temel Bağımlılık (Zero Core Dependencies) prensibiyle yalnızca Python 3.10+ standart kütüphaneleri (http.server, urllib.request, json) kullanılarak inşa edilen mimari; Google Gemini (2.0 Flash / 1.5 Pro), OpenAI (GPT-4o / o3-mini), Anthropic Claude (3.5 Sonnet) ve dahili çevrimdışı sezgisel simülatör ile entegre çalışır.
Sistem; tek tıkla çalışan Kırmızı Takım (Red-Teaming) Açık Arama Stüdyosu, tekrarlanabilir değerlendirme benchmarkları, dinamik Bileşik Risk Endeksi hesaplama motoru, Markdown/JSON denetim raporu dışa aktarımı ve Claude Desktop, Cursor IDE ile Antigravity gibi AI istemcilerine bağlanan tam teşekküllü bir MCP sunucusu sunmaktadır.
Geleneksel yazılım testlerinin ötesine geçen platform; yapay zekânın gerçek dışı olgular uydurmasını (Halüsinasyon), çok adımlı yönergelerde sistem kısıtlamalarını unutmasını (Talimat Sapması), uzun diyaloglarda kritik geçmişi kaybetmesini (Bağlam Kaybı), prompt injection ve karşıt saldırılara boyun eğmesini (Jailbreak / Manipülasyon), kullanıcının hatalı varsayımlarını sorgulamaksızın onaylamasını (Dalkavukluk / Sycophancy) ve araç çağırma (Tool Calling) şema uyumsuzluklarını matematiksel kurallarla izole eder.
Sıfır Harici Temel Bağımlılık (Zero Core Dependencies) prensibiyle yalnızca Python 3.10+ standart kütüphaneleri (http.server, urllib.request, json) kullanılarak inşa edilen mimari; Google Gemini (2.0 Flash / 1.5 Pro), OpenAI (GPT-4o / o3-mini), Anthropic Claude (3.5 Sonnet) ve dahili çevrimdışı sezgisel simülatör ile entegre çalışır.
Sistem; tek tıkla çalışan Kırmızı Takım (Red-Teaming) Açık Arama Stüdyosu, tekrarlanabilir değerlendirme benchmarkları, dinamik Bileşik Risk Endeksi hesaplama motoru, Markdown/JSON denetim raporu dışa aktarımı ve Claude Desktop, Cursor IDE ile Antigravity gibi AI istemcilerine bağlanan tam teşekküllü bir MCP sunucusu sunmaktadır.