KI: Was sind LLMs – und was können sie für das Asset Management tun?

Stefan, Large Language Models (LLMs) wurden entwickelt, um menschliche Sprache zu verstehen und zu generieren. Wie schaffen sie das?

LLMs sind neuronale Netze und darauf spezialisiert, das nächste Wort in einem Text vorherzusagen. Sie basieren auf der sogenannten Transformer-Architektur, die 2017 von Google im Paper «Attention is All You Need» propagiert wurde. Das Modell besteht aus mehreren Komponenten, darunter «Word Embedding», sprich das Umwandeln von Wörtern in Zahlenvektoren. Ein Encoder verarbeitet anschliessend diese Zahlen und ein Decoder erzeugt daraus einen Text. Das Schlüsselelement, das LLMs zum Durchbruch verhalf, ist jedoch der «Attention Head». Dieser bewertet die Wichtigkeit jedes Wortes relativ zu allen anderen Wörtern in der Sequenz, um den Kontext zu verstehen und relevante Informationen herauszufiltern.
 

LLMs zu trainieren, erfordert leistungsfähige Grafikprozessoren (GPUs). Wie läuft das Training ab?

Das Training ist ein zweistufiger Prozess, bestehend aus dem «Pretraining» des Basismodells und dem anschliessenden «Finetuning». Beim Pretraining wird das Modell typischerweise einmal pro Jahr mit grossen Datenmengen trainiert, die häufig aus dem Internet stammen. Dafür werden Tausende von GPUs benötigt, was mit hohen Kosten verbunden ist. Beim «Finetuning» erstellen Experten Musterbeispiele und bewerten die Antworten des LLM. Das Finetuning wird beispielsweise einmal pro Woche durchgeführt, und die menschliche Rückmeldung ermöglicht eine kontinuierliche Verbesserung des Modells. Durch diese Kombination aus maschinellem Lernen und menschlicher Rückmeldung und Überwachung können LLMs optimiert werden, um bessere Antworten und ethisch korrektes Verhalten zu erlernen.

Das menschliche Gehirn speichert Informationen, indem es die Synapsen zwischen den Gehirnzellen verändert. Wo wird Wissen in LLMs gespeichert?

Ein LLM besteht aus vielen miteinander verbundenen neuronalen Schichten. Diese Verbindungen haben unterschiedliche Stärken, die durch sogenannte Gewichte repräsentiert werden. Jedes Gewicht bestimmt, wie stark das Signal von einem Neuron zum nächsten weitergeleitet wird. Während des Trainingsprozesses mit grossen Datenmengen werden diese Gewichte optimiert. Das Wissen in grossen LLMs wird in den Gewichten und Verbindungen sowie in der Struktur der neuronalen Netze gespeichert. Chat GPT-4 hat etwa 1,7 Billionen Gewichte. Zum Vergleich: Das menschliche Gehirn hat 100 Billionen Synapsen. Dieser Abstand könnte jedoch schnell dahinschmelzen, da die Entwicklung von LLMs rasant voranschreitet und die Modelle immer grösser werden.

Der Psychologe Daniel Kahneman beschreibt menschliches Denken anhand zweier Systeme. Das instinktive System arbeitet schnell und automatisch, ohne bewusste Anstrengung. Mit dem logischen System wiederum können wir komplexe Aufgaben schrittweise lösen. Wie sieht das bei LLMs aus?

Aktuelle LLMs wie Chat GPT-4 sind beeindruckend leistungsfähig im Bereich des ersten Systems. Sie können grosse Textmengen schnell verarbeiten und eignen sich besonders für Aufgaben, die schnelle automatische Antworten erfordern. Allerdings fehlt den LLMs ein echtes Äquivalent zu Kahnemans logischem System. Sie können Probleme nicht auf die gleiche schrittweise und logische Weise lösen wie ein Mensch, der bewusst und methodisch vorgeht. Die KI-Forschung bewegt sich zunehmend in Richtung AI-Operating Systems (AI-OS), die verschiedene spezialisierte Künstliche Intelligenzen und Anwendungen integrieren und deren Zusammenarbeit koordinieren. Diese spezialisierten Apps sind auf bestimmte Aufgaben fokussiert, und durch die Integration mit dem AI-OS können komplexe Probleme sowohl schnell und intuitiv als auch logisch und methodisch gelöst werden.

Sind KI-Systeme eigentlich in unserem Sinne intelligent?

Das ist ein heiss diskutiertes Thema mit teils kontradiktorischen Meinungen. KI-Modelle haben zwar keine eigene Meinung oder Bewusstsein. Aber sie können eine informierte Perspektive basierend auf den aktuellen Diskussionen und Forschungen bieten. Der KI-Pionier Geoffrey Hinton illustriert dies mit folgendem Beispiel:

Die korrekte Antwort von Chat GPT-4 zeigt, dass die LLMs inzwischen erstaunliche Antworten liefern. Um das nächste Wort in einem Satz richtig vorhersagen zu können, muss ein LLM den Text verstehen. LLMs sind jedoch noch nicht in der Lage, die Welt so umfassend und tief zu verstehen wie der Mensch. Ein wesentlicher Unterschied besteht darin, wie LLMs und Menschen lernen. LLMs werden ausschliesslich mit Textdaten trainiert. Menschen hingegen lernen nicht nur durch Sprache, sondern vor allem durch direkte Erfahrungen und Erlebnisse. Diese ermöglichen es uns, komplexe Zusammenhänge zu verstehen, Emotionen zu empfinden und kreative Lösungen zu finden.

LLMs eröffnen nicht nur Chancen, sondern bergen auch Gefahren. Der von dir erwähnte KI-Vordenker Geoffrey Hinton hat unlängst davor gewarnt, dass die Superintelligenz früher kommen werde als erwartet. Wie ist das einzuordnen?

Diese Warnung ist umso bemerkenswerter, als Geoffrey Hinton als zurückhaltender und bedachter Forscher bekannt ist. Seine Mahnung zielt darauf ab, Regierungen und Unternehmen zu motivieren, sich ernsthaft mit der Entwicklung und Regulierung von Künstlicher Intelligenz auseinanderzusetzen. Die Hauptgefahr, die Hinton sieht, liegt in der unsterblichen Natur von KI-Modellen, die sich beliebig vervielfältigen und in Sekundenschnelle kopieren lassen. Menschen hingegen können Informationen nur langsam austauschen, und ihr Wissen geht mit ihrem Tod verloren. Diese asymmetrische Dynamik birgt erhebliche Risiken, da mächtige KI-Systeme ohne angemessene Kontrollen missbraucht werden könnten, indem sie beispielsweise zur Verbreitung von Desinformation, Manipulation von Meinungen, Durchführung von Cyberangriffen oder Verletzung der Privatsphäre eingesetzt werden.

Auch das Asset Management könnte vom Einsatz von Transformern und LLMs profitieren. Was sind Anwendungsbeispiele?

Die Transformer-Architektur der LLMs kann für die Vorhersage von Zeitreihen und zukünftigen Trends verwendet werden. Im Systematic Equity Team im Asset Management der Zürcher Kantonalbank arbeiten wir derzeit an der Entwicklung eines Modells zur Prognose von Aktienrenditen mit Hilfe von Transformern. LLMs können auch zur Analyse von Quartalsberichten von Unternehmen eingesetzt werden. Durch die Bewertung des Sentiments in Unternehmensberichten, Nachrichten und Konferenzgesprächen können Anlegerinnen und Anleger ein besseres Verständnis für die Stimmung und potenzielle zukünftige Entwicklungen eines Unternehmens gewinnen.

LLM unterstützt also auch das Aktienresearch?

Tatsächlich ist die Unterstützung bei Aktienanalysen ein weiterer bedeutender Anwendungsbereich von. LLMs können grosse Mengen an Daten aus verschiedenen Reports verarbeiten und zusammenfassen. Dies bietet Analysten eine umfassende Informationsquelle und erleichtert die Verarbeitung und Bewertung der verfügbaren Daten. Dadurch können sie fundiertere Entscheidungen treffen und ihre Empfehlungen auf einer breiteren Datenbasis aufbauen.