Statistisches Modell korrigiert KI-Ergebnisse
Forscher der University of California Berkeley stellen statistische Technik vor, mit der sich KI-Ergebnisse sicher zum Testen wissenschaftlicher Hypothesen nutzen lassen.
Die als vorhersagegestützte Inferenz (PPI) bezeichnete Technik verwendet eine kleine Menge realer Daten, die in Bezug auf die spezifische untersuchte Hypothese unvoreingenommen ist, um die Ausgabe großer, allgemeiner Modelle – wie AlphaFold, das Proteinstrukturen vorhersagt – im Kontext spezifischer wissenschaftlicher Fragestellungen zu korrigieren.
Bei KI immer von Fehlern ausgehen
“KI-Modelle können viele Fragen beantworten, aber wir wissen nicht, welche sie gut und welche sie schlecht beantworten. Wenn man sie naiv verwendet, kann es schiefgehen. Mit PPI können Sie das Modell verwenden, aber mögliche Fehler korrigieren, selbst wenn Sie die Art dieser Fehler zu Beginn nicht erkennen”, sagt Berkeley-Informatiker Michael Jordan.
Wenn Wissenschaftler Experimente durchführen, erhalten sie meist eine Reihe plausibler Ergebnisse, die sich mehr oder weniger stark voneinander unterscheiden. Um ein gesichertes Ergebnis zu erhalten, ermitteln sie den Konfidenzintervall. Es gibt einen Vertrauensbereich an, in dem der wahre Mittelwert mit einer 95-prozentigen Wahrscheinlichkeit liegt. Im einfachsten Fall wiederholt der Forscher das betreffende Experiment und wählt das Ergebnis aus, das dem Konfidenzintervall entspricht.
KI manchmal voreingenommen
Das Problem beim Einsatz von KI besteht darin, dass maschinelle Lernsysteme viele versteckte Vorurteile haben, die die Ergebnisse verfälschen können. Diese Voreingenommenheiten ergeben sich zum Teil aus den Daten, auf deren Grundlage sie trainiert werden. Dabei handelt es sich im Allgemeinen um vorhandene wissenschaftliche Forschung, die möglicherweise schon überholt oder nicht mehr ganz den aktuellen Erkenntnissen entspricht.
“Tatsächlich sind wir bei wissenschaftlichen Problemen oft an Phänomenen interessiert, die an der Grenze zwischen Bekanntem und Unbekanntem liegen. Sehr oft gibt es nicht viele Daten aus der Vergangenheit, die an diesem Rand liegen, und das erhöht die Wahrscheinlichkeit, dass generative KI-Modelle ‘halluzinieren’ und Ergebnisse produzieren, die unrealistisch sind”, so Jordan.
Die Forscher haben PPI an einer KI-basierten Erfassung der Entwaldung im Amazonasgebiet anhand einzelner Satellitenbilder getstetet. Deren Auswertung war exakt, doch als es daran ging, sie für eine Prognose der Entwaldung im gesamten Bereich zu nutzen, ging es schief. Erst das Einfügen einer kleinen Anzahl von vom Menschen gekennzeichneten Entwaldungsregionen führte zu einem korrekten Ergebnis. (pte)
