Künstliche Intelligenz verändert die Geschwindigkeit, mit der Unternehmen entwickeln, skalieren und innovieren. Gleichzeitig wächst die Bedrohungslage rasant: Offensive KI entwickelt sich schneller als defensive KI. Unternehmen müssen deshalb neue Wege finden, künstliche Intelligenz sicher, verantwortungsvoll und regelkonform einzusetzen.
Dieser Newsletter fasst die wichtigsten Entwicklungen aus dem HackerOne‑Report zusammen und zeigt konkrete Strategien zur Risikominimierung.
1. Die neue KI‑Bedrohungslage
Angreifer nutzen KI zunehmend als Werkzeug, um Angriffe zu automatisieren und zu skalieren.
Typische KI‑gestützte Angriffe
- KI‑generierte Malware
- Automatisiertes Social Engineering
- Deepfake‑Betrug (Stimme & Video)
- Prompt Injection & Modellmanipulation
Seit 2022 sind KI‑basierte Phishing‑Angriffe um 1.265 % gestiegen. Deepfake‑Angriffe werden so realistisch, dass selbst Führungskräfte schwer unterscheidbar sind.
2. Wachsende Angriffsflächen durch KI
KI beschleunigt Softwareentwicklung – aber häufig ohne Sicherheitskontrollen.
Herausforderungen
- Mehr Code = mehr Sicherheitslücken
- KI‑Modelle verarbeiten enorme Mengen sensibler Daten
- Schwachstellen in Plugins, APIs & Integrationen
- Neue Angriffsmethoden wie Prompt Injection
KI erweitert die Angriffsfläche schneller, als traditionelle Sicherheitsansätze sie schützen können.
3. Regulatorische Anforderungen steigen
Die weltweite Gesetzgebung zwingt Unternehmen zum Handeln.
EU AI Act
- Verpflichtende Risikoanalysen
- Anforderungen an adversarial testing
- Transparenz‑ und Sicherheitsstandards
Weitere Standards
- OWASP Top 10 für LLMs (2025)
- G7 AI Code of Conduct
- NIST AI Risk Management Framework
4. KI Security vs. KI Safety – ein wichtiges Unterscheidungsmerkmal
KI Security
Schützt das KI‑System vor Angriffen.
(z. B. Datenmanipulation, Prompt Injection)
KI Safety
Schützt die Außenwelt vor schädlichem KI‑Verhalten.
(z. B. gefährliche Inhalte, diskriminierende Entscheidungen)
55 % aller gemeldeten KI‑Vorfälle betreffen KI‑Safety‑Themen.
5. AI Red Teaming – Der effektivste Ansatz für KI‑Sicherheit
Externe Sicherheitsexperten versuchen, KI‑Modelle gezielt zu umgehen oder zu manipulieren, um Schwachstellen aufzudecken.
Praxisbeispiele
- Anthropic: Entdeckung eines universellen Jailbreaks
- Google Gemini: IDOR‑Angriffe & Prompt‑Injection‑Exfiltration
- Snap: Red Teaming für Text‑zu‑Bild‑Modelle
Fazit: Menschliche Kreativität schlägt automatisierte Tests.
6. Handlungsempfehlungen für Unternehmen
- Defense‑in‑Depth‑Strategie
- Automatisiertes + manuelles Testing kombinieren
- KI‑Governance & Compliance etablieren
- Daten und Modelle kontinuierlich überwachen
- Mitarbeitende für KI‑Risiken sensibilisieren
- Externe Forscher über Bug Bounties & Red Teaming einbinden
Fazit
KI bietet enorme Chancen – aber nur, wenn Sicherheit, Ethik und Governance integraler Bestandteil der Entwicklung sind. Unternehmen, die früh investieren, bauen Vertrauen auf und minimieren langfristige Risiken.
