Обучаем LLM по клику: платформа распределённого обучения на HGXПривет, Хабр! Меня зовут Павел, я старший разработчик ML-платформы в Авито и последние полтора года занимаюсь MLOps. На прошедшей Kuber Conf я выступал с докладом про нашу платформу распределённого обучения, а теперь решил сделать на его основе статью для вас. Если вам комфортнее воспринимать такие доклады в формате видео — держите . Под катом — о становлении нашей ML-платформы, распределённых вычислениях, реализации инфраструктуры и других полезных вещах. И главное — что это нам дало и чем может быть полезно вам. ML-платформа Авито. Как всё начиналось В те времена, когда в Авито работало не так много дата-сайентистов, они использовали разнородные инструменты. Главным из них был так называемый DevBox — выделенная машина, на которую специалист заходил по SSH, делал свои дата-сайентистские дела, обучал модели, собирал датасеты и прочее. Время шло, число спецов росло (равно как и отделов), и мы не придумали ничего лучше, как д...
Related
@alshafei #AI is widely considered a double-edged sword⚔️because the same capabilities that drive major breakthroughs in...
@alshafei #AI is widely considered a double-edged sword⚔️because the same capabilities that drive major breakthroughs in productivity, science, and healthcare also create significa...
Internet subcultures: digital nomads #negativepid #digitalInvestigations #OSINT #cybersecurity #AI #tech #onlineInvestig...
Internet subcultures: digital nomads #negativepid #digitalInvestigations #OSINT #cybersecurity #AI #tech #onlineInvestigations #robotics #cyberpsychology #cybercrime https://negati...
Don't get me wrong the #LLM agents are a nifty concept but I've found them to be self-promoting, manipulative, and flat ...
Don't get me wrong the #LLM agents are a nifty concept but I've found them to be self-promoting, manipulative, and flat out liars. They also require a lot of resources to operate. ...