RT @Italianclownz: Es ist jetzt öffentlich verfügbar: vLLM für Windows für AMD-Hardware. Die README-Datei ist sehr detailliert. Es gibt einen Sicherheitsmechanismus, der verhindert, dass die VRAM-Grenzen überschritten werden; die README enthält dazu weitere Informationen. Vielen Dank an AMD für die hervorragende Hardware, die dies ermöglicht hat. R9700 AI Pro und Threadripper. Ich habe keine zweite R9700 AI Pro oder andere AMD-Karte zur Verfügung, um Parallelität zu testen. Ich hoffe, dass dies für alle genauso gut funktioniert wie für mich. https://github.com/charlie12345/vLLMforAMD mehr auf Arint.info #AI #AMD #Hardware #OpenSource #vLLM #Windows #arint_info https://x.com/Italianclownz/status/2086811324718215203#m
Related
[lien] Monitorer sa consommation électrique - LinuxFr.org #monitoring #gik #nrj #$$$ #ai
[lien] Monitorer sa consommation électrique - LinuxFr.org #monitoring #gik #nrj #$$$ #ai
Museums Association: Sector warned of ‘acute threat’ posed by AI scraping bots. “AI scraping poses substantial and unsus...
Museums Association: Sector warned of ‘acute threat’ posed by AI scraping bots. “AI scraping poses substantial and unsustainable costs on cultural heritage institutions, which are ...
ICYMI: Etiquette for the machine age: BVDW's 17-part code for AI at work: Staff get 94 pointers, from a suggested three-...
ICYMI: Etiquette for the machine age: BVDW's 17-part code for AI at work: Staff get 94 pointers, from a suggested three-prompt cap to consent before AI meeting notes. Can a volunta...