@SaschaHoffentlich läuft das Training "quantization aware" ab, wenn ich es richtig verstehe, bekommt man dann qualitativ...

@SaschaHoffentlich läuft das Training "quantization aware" ab, wenn ich es richtig verstehe, bekommt man dann qualitativ bessere quantisierte Modelle. Nützt ja nichts, wenn man nachher ein super #llm hat, was niemand zuhause vernünftig laufen lassen kann. #KI

Read Original

Related