Sepp Hochreiter hat in seiner Diplomarbeit zu Beginn der neunziger Jahre eine kleine KIRevolution erdacht. Sein Lernalgorithmus verbarg sich hinter dem Kürzel LSTM, das steht für LongShortTermMemory. Er verlieh der KI so etwas wie ein brauchbares Gedächtnis Computer können seither besser mit Sequenzen umgehen. Als er die Idee zusammen mit Jürgen Schmidhuber verbreitete und weiterentwickelte, erkannten zunächst nicht einmal Fachleute, welche Macht sie besaß.

Letztendlich hob LSTM die Sprachverarbeitung auf eine neue Stufe. Von Google bis Microsoft verwendete jeder TechKonzern sie, bis zum Jahr 2017 steckte sie sozusagen in jedem Smartphone. Dann veröffentlichten Fachleute von Google einen Aufsatz und stellten darin die Grundlage für jene großen Sprachemodelle vor, die heute so erfolgreich sind und die durch ChatGPT berühmt und ein Massenphänomen wurden.

Doch auch diese KISysteme haben Grenzen, scheitern an Aufgaben, die für das Gehirn leicht sind. Nun kommt Hochreiter, der inzwischen im österreichischen Linz lehrt und forscht, seinerseits mit der nächsten womöglich bahnbrechenden Idee um die Ecke: Er stellte unlängst vor, wie er LSTM weiterentwickelt hat unter dem Kürzel xLSTM, das steht für Extended LongShortTermMemory. Die bisherigen Schwächen will er reduziert und zugleich die Vorteile gegenüber den gegenwärtig angesagten TransformerModellen verbessert haben.

Wie funktioniert das? Was steckt dahinter? Wie weit ist sein Unternehmen NXAI? Über all das sprechen wir in dieser Episode.