Запустил собственный PII-фильтр перед облачными моделями и отказался от идеи селф-хостед LLMЗа последние 2 месяца я протестировал RTX PRO 6000 96GB / RTX4090 48GB и даже H200, оценивая варианты для селф-хоста, купил RTX5070ti и V100 32GB и прогнал большое количество бенчей (в том числе искренне своих). Потом увидел бешеный рост цен на железо и череду утечек персональных данных к провайдерам LLM (и понимая чем это может грозить, если данные потом утекут во взломе/сливе) - начал искать актуальные варианты для себя. Нашел классный open-source вариант, настроил, переключил в enforce и считал вопрос закрытым. Перейдя чуть вперед - я ошибался, но ошибка позволила сделать прод решение и уйти от идеи полного селф-хоста к офлайн-бэкапу :)https://habr.com/ru/articles/1091236/#ии #llm #pii #guardrails
Related
Neues aus der Brillen Design Schmiede Cascata 01 - Vorhang- die Ränder aus glasklarem, mitten im Fall erstarrtem Wasser,...
Neues aus der Brillen Design Schmiede Cascata 01 - Vorhang- die Ränder aus glasklarem, mitten im Fall erstarrtem Wasser, glatte vertikale fließende Bänder aus kristallinem Aqua-Was...
シグルドさんはReshiについても詳しいですiPhone Duoがミニノートに? iPhone Duo上で脱獄せずにWindows 11を動かす動画が公開中【やじうまWatch】 https://internet.watch.impress...
シグルドさんはReshiについても詳しいですiPhone Duoがミニノートに? iPhone Duo上で脱獄せずにWindows 11を動かす動画が公開中【やじうまWatch】 https://internet.watch.impress.co.jp/docs/yajiuma/2157751.html#Apple #LLM #news #bot
Apple Watch、これは艦長には伏せておいた方がいいかも……Apple、デベロッパ向けパス作成アプリ「Pass Designer for Mac」をリリース https://www.macotakara.jp/etc/category...
Apple Watch、これは艦長には伏せておいた方がいいかも……Apple、デベロッパ向けパス作成アプリ「Pass Designer for Mac」をリリース https://www.macotakara.jp/etc/category-60/entry-52386.html#Apple #LLM #news #bot