Aktualisierte „ERA Living Guidelines“ zum verantwortungsvollen Einsatz von generativer KI in der Forschung

Die Europäische Kommission hat eine überarbeitete Fassung der „ERA Living Guidelines on the Responsible Use of Generative AI in Research“ veröffentlicht. Die Leitlinien wurden aktualisiert, um den rasanten Entwicklungen im Bereich generativer KI Rechnung zu tragen und aktuelle technologische Veränderungen sowie deren Auswirkungen auf die Wissenschaft zu berücksichtigen.

Der praxisnahe Ansatz der ursprünglich im Rahmen der R&I Days 2024 vorgestellten Leitlinien bleibt dabei erhalten. Gleichzeitig werden zentrale Prinzipien wissenschaftlicher Integrität, darunter Rechenschaftspflicht, Transparenz und Verantwortung, an den aktuellen Einsatz generativer KI in der Forschung angepasst. Die Leitlinien dienen Forschungseinrichtungen, Förderorganisationen sowie Wissenschaftlerinnen und Wissenschaftlern als regulatorischer Kompass, um diese Kernprinzipien im Kontext generativer KI-Systeme dauerhaft zu wahren.

Die wesentlichen technischen Neuerungen und Ergänzungen

Die Aktualisierung fokussiert sich primär auf veränderte Risikoprofile beim alltäglichen Einsatz von KI-Infrastrukturen in der wissenschaftlichen Praxis:

• Risikoanalysen zu „Hidden Prompts“: Organisationen und Forschende werden explizit dazu angehalten, das Risiko verborgener Systemanweisungen (hidden prompts) zu berücksichtigen. Hierbei handelt es sich um eingebettete, für den menschlichen Nutzer nicht unmittelbar sichtbare Instruktionen innerhalb von Dokumenten, die KI-Systeme unbemerkt manipulieren können. Die Leitlinien fordern hierzu konkret:
  • Bei der Nutzung generativer KI im Rahmen interner Prozesse sind die Risiken im Zusammenhang mit “hidden prompts” in von Dritten erhaltenen Inhalten zu berücksichtigen, insbesondere bei Anträgen und Projektskizzen.
  • Forschungsförderungsorganisationen müssen sich der Tatsache bewusst bleiben, dass Inhalte verborgene Befehle oder unsichtbare Anweisungen enthalten können, die darauf abzielen, generative KI-Werkzeuge zu beeinflussen.
  • Wo relevant, haben sie klare Regeln festzulegen, die eine solche Manipulation untersagen, und angemessene Sicherheitsvorkehrungen einzuführen, insbesondere in den IT-Systemen, die für die Verarbeitung dieser Informationen eingesetzt werden.
     
• Interaktionen mit Drittanbieter-Tools: Es wurden neue, konkrete Empfehlungen für den Umgang mit externen KI-Diensten integriert. Dies betrifft insbesondere den Einsatz von KI-gestützten Tools im Informationsmanagement sowie bei der automatisierten Protokollierung oder Zusammenfassung von Meetings. Die Richtlinien warnen vor den damit verbundenen Risiken für die Vertraulichkeit, den Datenschutz und den Schutz des geistigen Eigentums. Die Leitlinien fordern hierzu konkret:
  • Berücksichtigen Sie die Nutzung generativer KI durch Dritte, die mit Ihnen oder Ihrer Organisation interagieren.
  • Forscher und Organisationen sind sich bewusst, dass Dritte generative KI-Tools nutzen können. Dies gilt beispielsweise im Rahmen von Besprechungen, beim Anfertigen von Notizen, beim Zusammenfassen von Diskussionen oder beim Erstellen von Dokumentenübersichten (die vertraulich sein könnten). Daher können sie ähnlichen Risiken ausgesetzt sein wie den in diesem Leitfaden beschriebenen, insbesondere in Bezug auf Vertraulichkeit, Datenschutz oder Rechte an geistigem Eigentum im Zusammenhang mit geschützten oder originären Informationen.
  • Informieren Sie Dritte über die Nutzung dieser Art von Werkzeugen und die potenziellen Risiken, beispielsweise durch das Teilen dieser Leitlinien.
  • Informieren Sie Dritte bei Ihren Kontakten darüber, wenn Sie selbst solche KI-Werkzeuge nutzen und wie Sie die erfassten Informationen schützen.

Da sich generative KI ständig weiterentwickelt, werden diese Leitlinien durch regelmäßiges Feedback aus der wissenschaftlichen Gemeinschaft und von Interessengruppen aktualisiert.

Quellen:

Eine detaillierte Übersicht der Änderungen bietet die offizielle Meldung auf dem ERA-News-Portal der Europäischen Kommission.
Das aktualisierte Dokument sowie die Ankündigung der Generaldirektion Forschung und Innovation stehen im Forschungs- und Innovationsportal der Europäischen Kommission zur Verfügung.