«Давайте просто развернём свою LLM на 1Т параметров»: что пришлось построить вокруг неё в Битрикс24В просьбе «давайте просто развернём свою LLM на 1Т параметров» больше всего вопросов к слову «просто». Допустим, модель уже работает. Теперь чаты, длинные документы и агенты делят одни и те же мощности. Надо решить, кто подождёт, чем занять ресурсы между пиками и как проверить, что очередная оптимизация не испортила ответы. На Saint HighLoad++ я разбирал эти задачи, постепенно достраивая схему платформы. В статье сделаем так же.https://habr.com/ru/companies/bitrix/articles/1093038/#selfhosted #инференс #llm #aiагенты #llmops #kvcache #aiплатформа #prefix_cache
Related
🙀 California Sues OpenAI Over A.I. Safety Issues「 In a 31-page lawsuit, filed in San Francisco Superior Court, the state...
🙀 California Sues OpenAI Over A.I. Safety Issues「 In a 31-page lawsuit, filed in San Francisco Superior Court, the state said OpenAI’s lax safeguards led to cyberattacks by its A.I...
California Sues OpenAI Over Hugging Face Hack and AI Safety FailuresCalifornia Attorney General Rob Bonta sued OpenAI on...
California Sues OpenAI Over Hugging Face Hack and AI Safety FailuresCalifornia Attorney General Rob Bonta sued OpenAI on Monday, alleging the company lost control of experimental A...
🤖 Cybersecurity AI startup Corma reaches $1B valuation in about 3 monthsThree months since introducing its product, AI c...
🤖 Cybersecurity AI startup Corma reaches $1B valuation in about 3 monthsThree months since introducing its product, AI cybersecurity startup Corba has raised a $125 million Series ...