← Мои дополнительные ресурсы
[1hr Talk] Intro to Large Language Models | Karpathy
Часовой обзор Карпатого «что такое LLM» для широкой аудитории — pretraining, fine-tuning, как модель работает и куда всё движется. Лучшая отправная точка.
[1hr Talk] Intro to Large Language Models | Andrej Karpathy
youtube.com
1 часНачальный
Лучший часовой обзор «что такое LLM» — без кода, на уровне ясной картины целого. Карпаты объясняет, что языковая модель — это, по сути, два файла (веса + код запуска), как она получается из терабайтов текста и почему ведёт себя так, как ведёт.
Идеально дополняет урок про масштабирование и ChatGPT: связывает воедино pretraining, fine-tuning и то, как из «предсказателя следующего токена» получается ассистент.
Ключевые темы:
- Что такое LLM — веса как «сжатие интернета», и почему обучение стоит миллионы.
- Pretraining → fine-tuning — две стадии: сначала знания, потом превращение в ассистента (SFT, RLHF).
- Как модель «думает» — что она умеет и где системно ошибается.
- LLM как новая ОС — взгляд Карпатого на инструменты, контекст и агентов вокруг модели.
- Безопасность — обзор типичных атак (jailbreak, prompt injection) на понятном уровне.