FLUX.2-dev GGUF Q4_K_M на Apple Silicon: куда уходят 29 гигабайт?В процессе моих изысканий о том как-же создавть изображения локально, я столкнулся с неочевидной, для себя, проблемой в виде колоссального потребления VRAM, которое не сходилось с тем что написано в карточках моделей и в интернете. Я попытался разобраться на примере современной FLUX.2-dev. Чтобы хотябы теоретически влезать в доступную мне VRAM на моем оборудовании я выбрал вариант GGUF Q4_K_M. И вот тут началось все самое интересное.https://habr.com/ru/articles/1015320/#apple #ai #python #torch #flux2dev
Related
This is predictable from elementary economics. In absence of market barriers, the price of goods will tend towards their...
This is predictable from elementary economics. In absence of market barriers, the price of goods will tend towards their marginal cost. Which is almost zero for #LLM -generated mod...
If consumer LLMs are mostly used for porn, does that make anti llm backlash the smutlerian jihad?#Dune #LLM #AI
If consumer LLMs are mostly used for porn, does that make anti llm backlash the smutlerian jihad?#Dune #LLM #AI
エメラダさんにCookの話をしたら、急に怒り出してしまいました。なぜなのかさっぱり分かりません……Are People Really Expecting Apple’s First Foldable iPhone Next Month? C...
エメラダさんにCookの話をしたら、急に怒り出してしまいました。なぜなのかさっぱり分かりません……Are People Really Expecting Apple’s First Foldable iPhone Next Month? CNET Readers Chime In https://www.cnet.com/tech/copy-of-are-p...