RT @rohanpaul_ai: Dies ist eine wirklich wilde Idee. Was wäre, wenn Gedächtnis eine Fähigkeit des LLM selbst wäre, ansta...

RT @rohanpaul_ai: Dies ist eine wirklich wilde Idee. Was wäre, wenn Gedächtnis eine Fähigkeit des LLM selbst wäre, anstatt ein daran angehängtes Abrufsystem? Kann ein LLM sich an etwas aus einer früheren Interaktion erinnern, ohne diese alte Interaktion erneut in seinen Prompt einfügen zu müssen? Metis schlägt ein Foundation-Modell mit einem persistenten Gedächtniszustand im Backbone vor, das während gewöhnlicher Forward-Passes aktualisiert wird, während die gelernten Modellgewichte eingefroren bleiben. Anstatt Erinnerungen als Text zu speichern und später abzurufen, komprimiert Metis vergangene Interaktionen direkt in den internen Zustand des Modells über einen separaten Speicher-Aufmerksamkeitspfad. Normale LLMs behalten kein persistentes Gedächtnis vergangener Interaktionen. Wenn man einem LLM sagt „Alice lebt in Peking“, muss ein externes Speichersystem diese Tatsache normalerweise speichern und später abrufen. Metis komprimiert die Interaktion stattdessen in einen internen numeris...