Agaltsov Anton | TeamLead-блог

🧭 Видение продукта — зачем нужна фраза, которая не меняется годами Видение продукта отвечает на вопрос «куда мы идём», а не «как именно». Это образ будущего на горизонте 3–5 лет, который фиксирует направление, но не предписывает конкретных функций, сроков или технологий. Без сильного видения даже талантливая команда рискует превратиться в «фабрику фич» — выпускать функциональность, не приближающую продукт к осмысленной цели. Видение служит фильтром: каждый элемент бэклога проверяется вопросом «служит ли это видению?». Видение — вершина иерархии продуктового планирования. Стратегия, roadmap, OKR и бэклог выводятся из него, как нижние этажи из фундамента. Если видение размывается — размываются и все нижележащие уровни. 🔗 Подробнее: https://agaltsovav.ru/docs/product-managment/product-vision/

👔 Engineering Manager — руководитель, который отвечает за людей, а не за код Engineering Manager (EM) — это управленческая роль, фокус которой полностью смещён с техники на people-менеджмент. В отличие от TechLead, отвечающего за архитектуру и качество кода, EM занимается наймом, развитием сотрудников, performance review и процессами, обеспечивающими предсказуемую работу команды. Роль EM появляется, когда инженерная организация вырастает до 30–50 человек. На этом этапе объём работы с людьми становится слишком большим, чтобы TechLead мог совмещать техническое лидерство и полноценное управление людьми. Решение — разделение зон ответственности: TechLead фокусируется на технологиях, EM берёт на себя людей, и они работают в паре. Переход с позиции TechLead в EM — это смена системы координат. EM не оценивается по написанному коду или техническим решениям. Критерии эффективности другие: насколько команда стабильна, предсказуема и развивается. Для технического специалиста это часто становится психологически сложным шагом — нужно научиться измерять свой успех через успех команды. 🔗 Engineering Manager: https://agaltsovav.ru/docs/overview/engineering-manager/

📊 Бенчмарки LLM: почему 90% на MMLU — это ещё не повод выбирать модель Каждый раз, когда выходит новая языковая модель, мы видим цифры: «90% на MMLU», «Elo 1350 в Chatbot Arena». Это бенчмарки — стандартизированные экзамены для LLM. Но за красивыми числами скрывается много нюансов. 🔸 Бенчмарк ≠ метрика. Метрика отвечает «как измерять», бенчмарк — «через что прогнать модель». 🔸 Ни один бенчмарк не скажет, подойдёт ли модель вашей задаче. Он даёт первичную ориентацию, но финальный выбор — только на собственных данных. Что искажает результаты: ❌ Загрязнение данных. Вопросы бенчмарка попадают в обучающую выборку — модель не решает, а вспоминает. Из-за этого OpenAI отказался от SWE-bench Verified. ❌ Переобученность. Модели натаскивают под MMLU: 90% на нём, но на свежих аналогах — проседание. ❌ Чувствительность к промпту. Та же модель может показать 40% в zero-shot и 80% в few-shot. ❌ Self-reported scores. Цифры от вендора — наименее надёжный источник. Вендор контролирует все переменные и выбирает выгодные настройки. Как читать лидерборды: ✅ Сравнивайте модели одного размера ✅ Игнорируйте разницу в 1-2% — это статистический шум ✅ Не доверяйте насыщенным бенчмаркам (топ-модели на плато 85-90%) ✅ Предпочитайте слепые площадки — Chatbot Arena Elo надёжнее формальных тестов ✅ Валидируйте на своих данных — это главное правило Подробно об этом читайте тут: https://agaltsovav.ru/docs/ai/llm-benchmarks/