GPU и акселераторы для нейросетей. Тензорные компиляторы. Инференс LLM
GPU и акселераторы для нейросетей. Тензорные компиляторы. Инференс LLM
Системное программирование и аппаратная разработка имеют свою специфику в разных прикладных областях — в том числе в искусственном интеллекте. В этом выпуске Елена Лепилкина и Антон Афанасьев изучат эту специфику в деталях. А поможет им Андрей Камаев — эксперт по разработке ПО искусственного интеллекта YADRO. Наш герой стартовал в ИИ-разработке с популярнейшей библиотеки компьютерного зрения OpenCV еще в те времена, когда этим занималась независимая компания Itseez.
В ходе выпуска Андрей рассказал об истории развития современных нейросетей и осветил текущий рынок «железа» для ИИ. После этого разговор перешел к специфике разработки LLM «изнутри» и завершился полезными советами для тех, кто только начинает искать место разработчика и боится конкуренции с нейросетями.
Основные темы подкаста:
как сфера искусственного интеллекта пришла к LLM и другим современным концепциям; как устроены гонки на рынке больших языковых моделей сегодня; как поделен рынок «железа» для тренировки LLM; почему в лидеры ИИ-железа не вышла AMD; почему сложно сделать специальный аппаратный акселератор для LLM, как для криптовалюты; что особенного в компиляторах для нейросетей; почему любая нейросеть — это вредный джинн; что важно разработчикам-джунам для успешной конкуренции с LLM.
