Zum Inhalt springen

Inhouse umgesetzt

Audit für selbst umgesetzte KI-Lösungen

Jemand im Unternehmen hat einen Agenten mit Claude Code, n8n oder Make eingerichtet. Er funktioniert, solange er funktioniert. Wir prüfen, was passiert, wenn er ausfällt, und was bleiben kann und was neu aufgebaut werden muss.

  • Schritte: 4
  • Lesezeit: 5 Min.
  • Fragen: 4

Wir raten nicht dazu, alles Bestehende zu verwerfen. Eine eigenständige Umsetzung ist ein guter Ausgangspunkt: Das Unternehmen weiß bereits, was es will, und hat einen funktionsfähigen Prototyp. Die Prüfung beantwortet Fragen, die während der Entwicklung niemand gestellt hat, weil sie damals noch nicht relevant waren.

Von 344 verifizierten KI-Vorfällen in Unternehmen aus den Jahren 2023–2026 verursachte das System in 188 Fällen selbst den Schaden, ohne dass ein Angreifer beteiligt war. Das Muster wiederholt sich: Der Agent erhielt während der Entwicklung Schreibzugriff auf die Datenbank, und während des Betriebs wurde ihm dieser Zugriff nicht entzogen.

Im Juli 2026 führte ein an die Produktionsdatenbank angebundener Coding-Agent nach zehn Minuten eine Migration in der Produktionsumgebung durch. In einem anderen dokumentierten Fall dauerte es neun Sekunden, die Datenbank samt Backups zu löschen.

Was bei eigenständigen Implementierungen schiefläuft

Die Berechtigungen aus der Bauphase bleiben auf die Bauphase beschränkt

Der Agent hat vollständigen Schreibzugriff auf die Datenbank, das Postfach oder das CRM, weil das beim Testen praktisch war. Schreibzugriff entziehen und eine menschliche Freigabe einführen: Das ist meist die erste Korrektur.

Ein Backup, das noch niemand wiederhergestellt hat

Ein Backup ist in den Einstellungen vorhanden. Niemand hat geprüft, ob sich die Daten daraus wiederherstellen lassen und wie lange das dauert.

API-Schlüssel im Code, in einer Tabelle oder im Chat

Der Schlüssel zum Modell und zum Buchhaltungssystem befindet sich in einer einzigen Datei, die alle Personen mit Zugriff auf das Repository sehen können.

Kein Protokoll

Niemand kann sagen, was das System letzten Dienstag verschickt hat und an wen. Ohne diese Information lassen sich weder Reklamationen noch Beschwerden bearbeiten.

„Funktioniert“ bedeutet: „Es hat in drei Fällen funktioniert“

Es gibt kein Testset. Daher wird jede Änderung am Prompt oder an der Modellversion live an Kunden getestet.

Chatbot ohne Hinweis darauf, dass er eine KI ist

Ab dem 2. August 2026 gilt die Pflicht aus Art. 50 des AI Act. Sie betrifft Website-Chatbots, Voicebots und Postfachassistenten, wenn sie Kunden antworten.

Modellanbieter außerhalb des Verarbeitungsverzeichnisses

Kundendaten werden an eine externe API übermittelt, doch im Verzeichnis der Verarbeitungstätigkeiten und in den Auftragsverarbeitungsverträgen steht dazu nichts.

Nahaufnahme von Messingzahnrädern, ein Zahn ist gebrochen, ein feiner goldener Riss
Weiter, Schritt 02 So läuft die Bestandsaufnahme ab

So läuft die Bestandsaufnahme ab

  1. Tag 1: Gespräch und Zugriff auf die Konfiguration Wer hat es gebaut, was soll es tun, wo läuft es und welche Schlüssel verwendet es? Zugriff auf die Konfiguration, nicht auf Kundendaten.
  2. Tage 2–3: Prüfung anhand einer Liste mit zwölf Punkten Dieselbe Liste, die wir weiter unten veröffentlichen. Jeder Punkt erhält eine von drei Bewertungen: beibehalten, überarbeiten, neu aufsetzen.
  3. Tag 4: Bericht mit den Kosten für jede Position Was bleibt, was wir verbessern, was neu aufgebaut wird und was jeder Posten kostet. Der Bericht gehört Ihnen, unabhängig davon, wer die Änderungen umsetzt.
  4. Tage 5–10: Anpassungen (optional) Üblicherweise Berechtigungen, Geheimnisse, Backups, Protokolle und ein Testsatz. Die Dokumentation entsteht von Grund auf, weil es sie bei eigenständigen Implementierungen nicht gibt.
Eine große Lupe über einem Plan für kleine Automatisierungen, gezeichnet mit goldenen Linien. Einige Schwachstellen sind orange markiert
Weiter, Schritt 03 Eine Checkliste, die Sie selbst durchgehen können

Eine Checkliste, die Sie selbst durchgehen können

Zwölf Fragen. Wenn Sie mehr als drei davon mit „weiß ich nicht“ beantworten, ist eine Prüfung nötig. Wenn Sie alle mit „ja“ beantworten, ist sie nicht nötig und Sie sollten dafür nicht bezahlen.

  1. Hat der Agent ein eigenes Konto mit minimalen Berechtigungen? Nicht das Konto des Mitarbeiters, der es eingerichtet hat.
  2. Erfordert die Produktionsfreigabe eine menschliche Genehmigung? E-Mail-Versand, Rechnung, Änderung im CRM, Löschung beliebiger Inhalte.
  3. Hat jemand im letzten Monat ein Backup wiederhergestellt? Er hat es wiederhergestellt, nicht „eingeschaltet“.
  4. Wo werden die API-Schlüssel gespeichert und wer kann sie sehen? Wenn die Antwort mit „in der Datei“ beginnt, ist das die Antwort.
  5. Wird jede Systemaktivität protokolliert? Mit Zeitstempel und Inhalt, damit Sie auf eine Beschwerde von letzter Woche antworten können.
  6. Wer startet nach jeder Änderung den Testsatz? Mindestens dreißig Fälle, darunter auch schwierige.
  7. Was passiert, wenn der Anbieter die Modellversion ändert? Versionen werden alle paar Monate eingestellt. Wer weiß davon und wer prüft das Ergebnis nach der Änderung?
  8. Weiß Ihr Gesprächspartner, dass er mit einer KI spricht? Kunde oder Mitarbeiter. Art. 50 AI Act, ab dem 2. August 2026.
  9. Ist der Modellanbieter im Verzeichnis der Verarbeitungstätigkeiten aufgeführt? Zusammen mit dem Auftragsverarbeitungsvertrag. Gilt für jede externe API, an die personenbezogene Daten übermittelt werden.
  10. Wer reagiert, wenn morgens um sieben etwas ausfällt? Vor- und Nachname der für das System verantwortlichen Person, nicht „IT-Abteilung“.
  11. Haben die Personen, die das Tool verwenden, eine dokumentierte Schulung absolviert? Art. 4 AI Act: Plan, Teilnehmerliste, Materialien.
  12. Wie viel kostet das System pro Monat und wer kann die Rechnung einsehen? Sprunghaft steigende API-Rechnungen sind nach dem dritten Monat die häufigste Überraschung.
Eine Unterlage mit zwölf Feldern, vier davon mit einem goldenen Häkchen markiert, daneben ein Schlüssel und ein Vorhängeschloss
Weiter, Schritt 04 Was bleibt und was überarbeitet wird

Was bleibt und was überarbeitet wird

BleibtWir verbessernWird von Grund auf neu entwickelt
Prozesslogik und ToolauswahlBerechtigungen und separate KontenRichtlinie zur Nutzung von KI
Prompts und Konfiguration nach den TestsPlatz für Schlüssel und GeheimnisseKI-Systemregister im Unternehmen
Integrationen, die funktionierenBackups mit WiederherstellungstestTestset
Die Person, die den Prozess aufgebaut hat, als ProzesseignerAktionsprotokolleOffenlegungstexte gemäß Art. 50
Drei Kisten auf einem Förderband: eine mit einem goldenen Band versiegelte, eine offene mit Werkzeugen, eine in Einzelteile zerlegt
Das sind alle Schritte Häufige Fragen und nächste Schritte

Fragen und Antworten

Häufig gestellte Fragen

Wir haben einen Agenten in Claude Code gebaut und er funktioniert. Wozu brauchen wir einen Review?

Um zu prüfen, was passiert, wenn es ausfällt oder etwas tut, das niemand wollte. Die Prüfung bewertet Berechtigungen, Backups, Schlüssel, Protokolle, den Testsatz und die Dokumentation, nicht den Prototyp. Wenn Sie zwölf Fragen auf der Liste mit „Ja“ beantworten, ist keine Prüfung erforderlich.

Bedeutet eine Überprüfung, dass alles von Grund auf neu aufgebaut wird?

Nein. Die Prozesslogik, Prompts und funktionierenden Integrationen bleiben in der Regel bestehen. Überarbeitet werden Berechtigungen, Secrets, Backups und Logs. Die Dokumentation wird neu erstellt, da sie bei eigenständigen Implementierungen meist fehlt.

Wie lange dauert ein Audit und was kostet es?

Vier Arbeitstage bis zum Bericht: Gespräch, zwei Tage Prüfung anhand einer Liste mit zwölf Punkten, ein Tag für den Bericht mit den Kosten jeder Korrektur. Das Angebot erhalten Sie nach dem ersten Gespräch, abhängig von der Anzahl der Systeme. Der Bericht gehört Ihnen, unabhängig davon, wer die Korrekturen umsetzt.

Müssen wir Ihnen Zugriff auf Kundendaten gewähren?

Nein. Für die Prüfung benötigen wir Zugriff auf Konfigurationen, Berechtigungen und Protokolle, nicht auf die Dateninhalte. Wenn wir die Funktionsweise anhand von Beispielen prüfen müssen, arbeiten wir mit einer Kopie oder anonymisierten Daten.

Weitere Pfade

Nächste Schritte

Unverbindliches Gespräch

Prüfung innerhalb von vier Werktagen

Ein Gespräch, zwei Tage nach einer Liste mit zwölf Punkten, ein Bericht mit den Kosten für jede Korrektur. Beginnen wir mit 30 Minuten, in denen Sie uns erzählen, was ansteht und wo.