KI intensiviert den Kampf gegen „Papierfabriken“, die gefälschte Forschungsergebnisse produzieren

Sep 08, 2023

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie haben über Ihre Institution vollen Zugriff auf diesen Artikel.

Künstliche Intelligenz-Tools, die realistische Bilder und Texte erzeugen können, erschweren die Erkennung gefälschter Forschungsergebnisse.Quelle: Westend61/Alamy

Fortschritte in der künstlichen Intelligenz (KI) erschweren die Bemühungen der Verlage, das wachsende Problem der Papierfabriken anzugehen – Unternehmen, die gefälschte wissenschaftliche Arbeiten auf Bestellung herstellen. Generative KI-Tools, darunter Chatbots wie ChatGPT und Bildgenerierungssoftware, bieten neue Möglichkeiten zur Erstellung von Inhalten aus Papierfabriken, die sich als besonders schwer zu erkennen erweisen könnten. Diese gehörten zu den Herausforderungen, die Experten für Forschungsintegrität auf einem Gipfeltreffen am 24. Mai diskutierten, bei dem es um das Problem der Papierfabrik ging.

Papierfabrik-Detektor auf die Probe gestellt, um gefälschte Wissenschaft auszumerzen

„Die Fähigkeit von Papierfabriken, immer plausiblere Rohdaten zu generieren, wird mit KI sprunghaft ansteigen“, sagt Jennifer Byrne, Molekularbiologin und Publikationsintegritätsforscherin am New South Wales Health Pathology und der University of Sydney in Australien.

„Ich habe gefälschte Mikroskopiebilder gesehen, die gerade von KI erzeugt wurden“, sagt Jana Christopher, Bilddatenintegritätsanalystin beim Verlag FEBS Press in Heidelberg. Es bleibe jedoch eine Herausforderung, zweifelsfrei nachweisen zu können, dass die Bilder von der KI generiert wurden, sagt sie.

Ein ähnliches Problem stellen sprachgenerierende KI-Tools wie ChatGPT dar. „Sobald Sie etwas haben, das zeigen kann, dass etwas von ChatGPT generiert wurde, wird es ein anderes Tool geben, um das zu entschlüsseln“, sagt Christopher.

Anna Abalkina, Sozialwissenschaftlerin an der Freien Universität Berlin und unabhängige Analystin für Forschungsintegrität, vermutet, dass es aufgrund der Länge des Peer-Review-Prozesses zu einer Verzögerung kommen könnte, bis diese KI-Tools in der wissenschaftlichen Literatur stärker in Erscheinung treten. Vielleicht werden wir in den nächsten Monaten „die ersten Papiere sehen“, sagt sie.

Byrne, Christopher und Abalkina waren letzte Woche Teilnehmer des UNITED2ACT-Gipfels, der vom Committee on Publication Ethics (COPE), einer gemeinnützigen Organisation mit Schwerpunkt auf Ethik im wissenschaftlichen Verlagswesen mit Sitz in Eastleigh, Großbritannien, und der International Association of Scientific einberufen wurde , Technical and Medical Publishers (STM), mit Sitz in Oxford. Der Gipfel brachte internationale Forscher zusammen, darunter unabhängige Analysten für Forschungsintegrität, sowie Vertreter von Fördereinrichtungen und Verlagen.

Der Kampf gegen Fake-Paper-Fabriken, die Scheinwissenschaft produzieren

„Es war das erste Mal, dass eine Gruppe von Menschen zusammenkam und gemeinsam eine Reihe von Maßnahmen erarbeitete, die wir zur Bekämpfung dieses Problems vorantreiben werden“, sagt Deborah Kahn, Treuhänderin von COPE und Beraterin für Forschungsintegrität , mit Sitz in London. Die Gruppe beabsichtigt, ihren gemeinsamen Aktionsplan bald zu veröffentlichen.

Wenn es um die Erkennung von Arbeiten in Papierfabriken geht, „gibt es absolut eine zusätzliche Herausforderung, die durch synthetische Bilder, synthetischen Text usw. entsteht“, sagt Joris van Rossum, Programmdirektor bei STM Solutions, einer Tochtergesellschaft von STM. „Allgemein ist man sich darüber im Klaren, dass das Screening möglicherweise schwieriger wird“, sagt er.

Kahn sagt, dass es zwar zweifellos positive Einsatzmöglichkeiten von KI zur Unterstützung von Forschern beim Verfassen von Arbeiten geben wird, es aber dennoch notwendig sein wird, zwischen legitimen, mit KI verfassten Arbeiten und solchen, die vollständig erfunden wurden, zu unterscheiden. „Wir müssen wirklich darauf achten, wie wir diese Dinge identifizieren und wie wir sicherstellen, dass die Leute tatsächlich recherchiert haben. Und es gibt verschiedene Möglichkeiten, dies zu tun“, sagt sie.

Eine während des Gipfels diskutierte Strategie bestand darin, von den Autoren zu verlangen, die Rohdaten aus Experimenten bereitzustellen, möglicherweise mit digitalen Wasserzeichen, die es den Herausgebern ermöglichen würden, die Echtheit dieser Daten zu bestätigen.

In der wissenschaftlichen Literatur lauern immer noch Hunderte von Kauderwelschartikeln

Derzeit variieren die Anforderungen für die Übermittlung von Rohdaten erheblich zwischen den Verlagen, sagt Christopher. Es könne daher hilfreich sein, verlagsübergreifend einheitliche Anforderungen an die Übermittlung von Rohdaten zu etablieren und dabei die Unterschiede zwischen den Forschungsfeldern zu berücksichtigen, sagt sie.

Sabina Alam, Direktorin für Verlagsethik und Integrität bei Taylor & Francis, einem Verlag mit Sitz in Abingdon, Großbritannien, stimmt dem zu, sagt aber, dass die Umsetzung solcher Standards Zeit in Anspruch nehmen wird. „Ich kann mir nicht vorstellen, dass es über Nacht klappt, denn die Realität ist, dass viele Institutionen nicht über die Ressourcen verfügen, um eine Datenmanagement-Infrastruktur anzubieten“, sagt sie. „Wir wollen die tatsächliche Forschung nicht benachteiligen.“

Auf dem Gipfel wurden auch andere Strategien zur Bewältigung des Problems der Papierfabriken im weiteren Sinne erörtert, darunter die Organisation eines Sensibilisierungstages oder einer Sensibilisierungswoche für Forscher sowie die Ermittlung von Möglichkeiten für Verlage, relevante Informationen über verdächtige Papierfabriken weiterzugeben – beispielsweise wenn Verlage gleichzeitig Beiträge erhalten. ohne gegen Datenschutzbestimmungen zu verstoßen.

STM entwickelt weiterhin seine eigene Software zur Erkennung von Papierfabriken und sammelt gleichzeitig Ressourcen zu ähnlichen Tools, die an anderer Stelle über seinen Integritäts-Hub verfügbar sind. Der offensichtliche Anstieg der Papierfabriken erhöht die Nachfrage nach solchen Techniken – sowohl zur Erkennung gefälschter Papiere zum Zeitpunkt der Einreichung als auch zur Identifizierung bereits veröffentlichter Papiere.

Taylor & Francis gehört zu den Verlagen, die solche Tools nutzen, und Alam sagt, dass immer mehr Ethikfälle – Fälle potenziellen Fehlverhaltens, die für weitere Untersuchungen markiert werden – an ihr Team weitergeleitet werden. Laut Alam sind etwa die Hälfte dieser Fälle auf Papierfabriken zurückzuführen. Ihr Team sah, dass sich die Zahl der Ethikfälle von 2019 bis 2022 mehr als verzehnfacht hat – und in diesem Jahr gab es bisher fast so viele Fälle wie im gesamten Jahr 2022. „Es scheint kommerzialisiert und ausgeweitet worden zu sein“, sagt sie sagt.

Natur618, 222-223 (2023)

doi: https://doi.org/10.1038/d41586-023-01780-w

Papierfabrik-Detektor auf die Probe gestellt, um gefälschte Wissenschaft auszumerzen

Die Software „Papermill Alarm“ meldet potenziell gefälschte Papiere

Der Kampf gegen Fake-Paper-Fabriken, die Scheinwissenschaft produzieren

In der wissenschaftlichen Literatur lauern immer noch Hunderte von Kauderwelschartikeln

Wie tickt ein Undercover-Wissenschaftler? Falschpapier-Detektiv meldet sich zu Wort

Verleger schließen sich zusammen, um manipulierte Bilder in Forschungsarbeiten anzugehen

Chinas Regeln gegen wissenschaftliches Fehlverhalten zielen auf „Papierfabriken“ ab, die gefälschte Studien produzieren

Warum die Natur den Einsatz generativer KI in Bildern und Videos nicht zulässt

Leitartikel 07 23. JUNI

Bewahren Sie die kulturelle Vielfalt in den Autorennamen

Korrespondenz 06.06.23

Tansanias Forscher boten 22.000 US-Dollar für Veröffentlichungen in internationalen Fachzeitschriften an

Neuigkeiten 06.06.23

Sind Sie als Postdoc in der Wissenschaft oder Industrie tätig? Teilen Sie Ihre Karriereerfahrungen mit Nature

Karriere-News 07 23. JUNI

Der überraschende Nutzen meditativer Spaziergänge

Karrierekolumne 07 23. JUNI

Warum die Natur den Einsatz generativer KI in Bildern und Videos nicht zulässt

Leitartikel 07 23. JUNI

Kiel, Schleswig-Holstein (DE)

Helmholtz-Zentrum für Ozeanforschung Kiel (GEOMAR)

Samstag, 8. Juli 2023, Tokio Sonntag, 9. Juli 2023, Osaka Die Anmeldung für diese Veranstaltung ist jetzt geöffnet!

Tokio und Osaka, Japan

Naturkarrieren

Basierend auf den gemeinsamen Anstrengungen aller Mitarbeiter und Studierenden sowie der erheblichen Unterstützung aller Bereiche der Gesellschaft.

Peking, China

Hochschule für Wasserwissenschaften, Beijing Normal University

Die Animal and Plant Health Agency (APHA) ist eine Exekutivbehörde des Ministeriums für Umwelt, Ernährung und ländliche Angelegenheiten und arbeitet im Auftrag des S

Addlestone, Surrey

Agentur für Tier- und Pflanzengesundheit

Eine interdisziplinäre Forschungsorganisation, in der modernste Wissenschaft und Technologie die Entdeckung wirkungsvoller Erkenntnisse vorantreiben

Pudong New Area, Shanghai

BeiGene-Institut