Publikationsdatum 05.03.2025

Probenutzung zweier KI-Tools zur Unterstützung des akademischen Lese- und Schreibprozesses: NotebookLM und Nouswise


Mit seinen 300 Millionen wöchentlich aktiven Nutzern (Prompt facile, 2025) ist ChatGPT sicherlich der meistgenutzte Chatbot. Für akademische Aufgaben hatte ChatGPT jedoch lange Zeit einen großen Nachteil: Er gab seine Quellen nicht an. Daher sind die Antworten, die er gibt, kaum überprüfbar. Generell gesagt sind sie auch zu allgemein und nicht so sehr mit dem vereinbar, was eine akademische Arbeit erfordert:

  • « For large language model AIs, generated content lacks any traceable link to existing scholarly sources, making it difficult to verify the accuracy of information (Figure 9). AI’s output tends to conform to general knowledge instead of producing professional and academic details, and even when it is completely making up non-existing information it could appear correct. » (Sun, 2024, S. 36)
  • « After all, large language model AIs are not initially designed for academic source-based writing, so their functions are not compatible with the academic conventions of attributing sources. » (Sun, 2024, S. 36)

Denken wir beispielsweise an die Arbeit, die man leisten muss, um eine thematische Zusammenfassung oder einen wissenschaftlichen Artikel zu schreiben - eine wichtige Aufgabe in der akademischen Forschung und Lehre. Wir betrachten sie hier mit Blick auf die Kompetenzen, die Lehrende und Studierende heute benötigen: Kenntnis der akademischen Aufgaben des Lesens und Schreibens, Entwicklung einer quellengestützten Argumentation, Kenntnis und Beherrschung der verschiedenen Hilfsmöglichkeiten von KI-Tools, kritisches Denken und ethische Grundsätze (Tarchi et al., 2024).

Ein KI-Chatbot kann dabei helfen, den Inhalt von wissenschaftlichen Publikationen, die man als Referenz verwendet, schnell zu analysieren und/oder zusammenzufassen. Aber man muss das Tool richtig auswählen, um in der erstellten Zusammenfassung leicht und genau unterscheiden zu können, was von der KI aus den Originaltexten paraphrasiert wurde („machine-generated“) und was direkte Zitate sind, die sie aus den Publikationen entnommen hat („source-based“). Es sei angemerkt, dass KI-Tools entwickelt werden, um eine solche Erkennung durchzuführen. Ihr Prinzip kann wie folgt zusammengefasst werden:

  • «AI detection is about spotting machine-generated content by analyzing patterns, while source-based originality focuses on verifying authenticity by checking references and citations. » (Detecting-AI.com, 2025)

Lösungsansätze

Um Zusammenfassungen und Inhaltsangaben von Artikeln mit einer „quellenbasierten“ akademischen Philosophie zu erstellen, kann man ChatGPT in Verbindung mit Plugins verwenden, wie Sun erwähnt: « Using the internet-connected version of ChatGPT together with plugins (e.g. AskYourPDF or ExplainPaper) may be more conducive to understanding scholarly texts, as they use content from known sources » (Sun, 2024, S. 36).

Wir haben diese Option nicht ausprobiert, sondern andere Tools. Wir haben zunächst geprüft, welche unsere Arbeitsaufgabe mit Möglichkeiten zum direkten Zitieren unterstützen. In diesem ersten Versuch verwenden wir nur die kostenlose Version dieser Tools:

  • Perplexity: erstellt Zusammenfassungen und Analysen von Artikeln, die er sucht oder die ihm zur Verfügung gestellt werden, gibt aber keine direkten Zitate an
  • Consensus: erstellt Zusammenfassungen und Analysen von Artikeln, die er sucht, die man ihm aber nicht zur Verfügung stellen kann
  • Elicit: erstellt Zusammenfassungen (oder Analysen anhand von Fragen) von Artikeln, die er sucht oder die ihm zur Verfügung gestellt werden und kann direkte Zitate angeben (NB : Manchmal produziert er Paraphrasen... das sollte man weiter untersuchen), aber man kann das Ergebnis nicht exportieren
  • NotebookLM: erstellt Zusammenfassungen (oder Analysen anhand von Fragen) von Artikeln, die ihm zur Verfügung gestellt werden. Ausserdem kann er direkte Zitate angeben
  • Nouswise: erstellt Zusammenfassungen anhand von Artikeln (oder Analysen anhand von Fragen), die ihm zur Verfügung gestellt werden, und er kann direkte Zitate angeben

Wir führen daher einen zweiten, weitergehenden Versuch mit NotebookLM und Nouswise durch. Im Folgenden stellen wir einige Erkenntnisse und Tipps vor, wie sie in bei einem Arbeitsauftrag effektiv eingesetzt werden können.

Start der Analyse:

  • Wir laden zunächst den zu analysierenden Artikel als Datei im pdf-Format in das KI-Tool. Beide Tools ermöglichen auch eine Analyse, bei der mehrere Artikel als Quelle verwendet werden.
  • Wir starten eine Inhaltsanalyse eines Artikels mit einem „Prompt“, um eine präzise Antwort zu erhalten. NotebookLM bietet eine automatische „Briefing“-Funktion, die eine allgemeine Antwort generiert, die jedoch nicht unbedingt der Analyse entspricht, die wir durchführen möchten.
    • Hinweis: Wir verwenden die Methode des „Meta-Prompts“ (Steiner, 2024), bei der ein KI-Chatbot gebeten wird, einen zuvor geschriebenen Prompt zu verbessern (wir haben dafür ChatGPT verwendet).
  • Unser Versuch besteht darin, beide KI-Tools einen Artikel analysieren zu lassen, indem wir sie bitten, nach fünf markanten Ergebnissen-Ideen aus dem Artikel zu suchen. Dann lesen wir den Artikel selbst noch einmal durch und vergleichen anschließend die beiden Ergebnisse. Dies tun wir für fünf verschiedene Artikel.

Erhaltenes Ergebnis: Beide Werkzeuge führen die geforderte Arbeit aus. Wir können nicht sagen, dass eines der beiden Werkzeuge die Arbeit besser bewältigt als das andere. Mehrere Dinge können festgestellt werden:

  • Die von beiden Tools vorgeschlagenen Inhaltsanalysen sind korrekt: Wir haben überprüft, ob die Hauptideen der von der KI erstellten Analyse alle im Artikel enthalten sind.
  • Viele der von einem Tool festgehaltenen Ideen werden auch von dem anderen Tool festgehalten. Die vorgeschlagenen Zusammenfassungen/Analysen sind jedoch unterschiedlich, insbesondere aufgrund der von beiden Tools formulierten Paraphrasen.
    • Noch weiter zu untersuchen: Kann ein restriktiverer „Prompt“ die KI-Tools dazu zwingen, die im Dokument gebrauchten Begriffe zu verwenden? (um Bedeutungsänderungen zu vermeiden)
  • Direkte Zitate: Beide Tools bieten eine Liste der fünf geforderten Punkte mit einer Überschrift und einigen erläuternden Zeilen für jeden Punkt an. Direkte Zitate werden in nummerierten Links angeboten, die auf die Erklärung folgen. Wenn man daraufklickt, erscheint die Passage, die den gewählten Punkt ausgelöst hat, im Artikel und man kann sie hervorgehoben sehen (siehe Screenshot).
  • Wir möchten darauf hinweisen, dass die Qualität der von der KI erstellten Zusammenfassung/Analyse abnimmt, wenn der Artikel eine ungewöhnliche Form hat. Ein Beispiel: Ein Artikel, der für unseren Test verwendet wurde, präsentiert seine Ergebnisse in zwei Listen (zum Einsatz von KI im Unterricht). Jede Liste entspricht einem Auswahlkriterium und verschiedene Symbole stehen für die verschiedenen Verwendungszwecke. Die erhaltenen Zusammenfassungen schienen darauf hinzudeuten, dass es für beide KI-Tools schwierig ist, diese Informationen zu lesen und zu verstehen.

Export und Verwendung der vom KI-Tool vorgeschlagenen Zusammenfassung:

  • Beide Tools ermöglichen es, die erstellte Zusammenfassung/Analyse zu kopieren. Allerdings kopiert keines von beiden die Zitate mit. Wenn man die Zitate exportieren will, muss man sie einzeln kopieren.
    • Um dies zu vermeiden, kann man einen zweiten Prompt schreiben, der darum bittet, die Zitate direkt in den generierten Antworttext aufzunehmen.
  • Beide Tools bieten jedoch an, die erstellte Analyse in einer Datei zu speichern. Die von Nouswise erstellte Datei speichert die Antwort mit den Zitaten und einem Link zu einer hervorgehobenen Passage im Artikel. In der von NotebookLM erstellten Datei verschwinden die Zitate.

Zur weiteren Information und Vertiefung des Themas:​

Verweise

Detecting-AI.com. (2025, janvier 20). AI Detection vs. Source-Based Originality. Detecting AI Blog. https://detecting-ai.com/blog/ai-detection-vs-source-based-originality

Prompt facile. (2025, janvier). Statistiques ChatGPT : +100 chiffres clés. https://promptfacile.fr/statistiques-chatgpt/

Steiner, T. (2024). Le prompt engineering comme vous ne l'avez encore jamais vu ! Cours HES-SO. https://www.youtube.com/watch?v=658E8SkolGY&list=PLZ5Ri5aSowtukezIs1Bg8u8pQrrd5VprV&index=5&t=2s

Sun, Q. (2024). Exploring Human-Generative AI Interaction in L2 Learners’ Source Use Practices : Issues, Trials, and Critical Reflections. Journal of Academic Writing, 14(1), Article 1. https://doi.org/10.18552/joaw.v14i1.1055

Tarchi, C., Zappoli, A., Casado Ledesma, L., & Brante, E. W. (2024). The Use of ChatGPT in Source-Based Writing Tasks. International Journal of Artificial Intelligence in Education. https://doi.org/10.1007/s40593-024-00413-1