Как мы оценивали
Коротко о методологии. Раскройте блок, чтобы прочитать подробнее.
Идея и три заданияна чём основана оценка
Мы определяем, на каком уровне шкалы L0–L4 участник работает с AI на самом деле. Оценка строится на наблюдении, а не на самооценке. Три задания:
- Анкета даёт гипотезы: что человек о себе говорит. Сама по себе она уровень не определяет.
- Рабочие чаты (публичные ссылки) показывают обычное поведение: как человек ставит задачи, проверяет результат, какая у него среда.
- Кейс «Рассвет» с отчётом AI показывает, как человек действует на новой незнакомой задаче и находит ли ошибки сам.
Каждую гипотезу из анкеты мы пытаемся не только подтвердить, но и опровергнуть. Если подтверждения нет, заявленное в расчёт не входит.
Шкала L0–L4аналогия автопилота
| Уровень | Аналогия (вождение) | В работе с AI |
|---|---|---|
| L0 · Manual | Нет автоматизации, ты контролируешь всё | AI не используется совсем |
| L1 · Assistive | Круиз-контроль, подсказки на полосе | Черновики через ChatGPT от случая к случаю |
| L2 · Partial | Машина рулит и разгоняется, ты наблюдаешь | Общие AI-воркфлоу, есть постоянный контекст |
| L3 · Conditional | Едет по трассе сама, ты — на сложных участках | Процессы перестроены вокруг AI, человек — архитектор, смотрит контрольные точки |
| L4 · High | Едет сама почти везде | Агенты работают автономно, человек вмешивается только в исключения |
Шесть критериев и как считается уровеньпрофиль из шести ступеней, итог — средняя оценка
| Критерий | Что смотрим |
|---|---|
| 1. Доля задач | Какая часть рабочих задач решается с помощью AI (L1 до 20%, L2 20–50%, L3 50–80%, L4 свыше 80%) |
| 2. Архитектура | Среда и контекст: разовые чаты, проект с инструкциями и памятью, агентная среда с файлами, несколько агентов с расписанием |
| 3. База данных | Есть ли постоянные материалы, из которых AI берёт информацию сам: от «вставляю каждый раз» до базы, которую обновляют агенты |
| 4. Скиллы и MCP | Базовые функции чата, расширенные функции сервисов, свои скиллы и подключения к рабочим системам |
| 5. Модели | Один сервис по умолчанию или осознанный выбор модели и среды под задачу |
| 6. Двойная проверка | Кто и как проверяет результат: на глаз, вручную по источникам, по чек-листу и второй моделью, независимым агентом |
- По каждому критерию берём высшую из устойчиво подтверждённых ступеней. Разовый эпизод не считается. Заявление без подтверждения не входит в расчёт.
- Итоговый уровень — средняя оценка по оценённым критериям. Ровно посередине между уровнями — «переходный».
- Если оценены не все критерии или нет части заданий, уровень помечается «предварительно» или «по неполным данным».
- Интерес (И0–И3) — отдельная ось: следит ли человек за новым, пробует ли, внедряет ли. На уровень не влияет.
Что важно знать об ограниченияхкак читать цифры
- В публичных ссылках ChatGPT и Gemini нет дат сообщений: долю задач и регулярность проверить нельзя, доля берётся из анкеты.
- Мы видим выборку чатов, а не всю работу человека. Интервью в аудите не предусмотрено.
- Пороги и границы значений не проверены на пилоте, оценка предварительная.
- Данные неполные у части участников (см. раздел «Участники»): это отмечено в индивидуальных отчётах.
- Реестр задач в оценку уровня не входит: в нём нет доли задач через AI. Он используется для рекомендаций и для вывода о западающих процессах.
Карта команды
Каждый участник — точка. По горизонтали уровень (средняя оценка), по вертикали выбранный критерий. Нажмите на точку, чтобы увидеть профиль и открыть отчёт.
Кто впереди, кто посередине, кто догоняет
Впереди
Уровень L2
Посередине
L1, средняя выше 1,05
Догоняют
L1, средняя 1,0
Рейтинг по итоговой оценкесредняя оценка по критериям, от 0 до 4
Шкала от 0 до 4. Эдуард оценён по четырём критериям из шести, Дарья — без кейса и реестра, Иван — по одному чату.
Тепловая карта профилейступень каждого участника по шести критериям
| Участник | Доля задач | Архитектура | База данных | Скиллы и MCP | Модели | Двойная проверка | Средняя | Уровень |
|---|---|---|---|---|---|---|---|---|
| Дарья Костромина | L2 | L2 | L2 | L2 | L1 | L2 | 1,83 | L2 |
| Иван Бабичев | L1 | L2 | — | L2 | L2 | L2 | 1,80 | L2 |
| Евгений Голов | L2 | L2 | L1 | L1 | L2 | L2 | 1,67 | L2 |
| Анастасия Овсянникова | L1 | L1 | L1 | L1 | L2 | L2 | 1,33 | L1 |
| Антон Власов | L1 | L2 | L1 | L1 | L1 | L1 | 1,17 | L1 |
| Давид Калицев | L1 | L2 | L1 | L1 | L1 | L1 | 1,17 | L1 |
| Дмитрий Келеш | L1 | L1 | L1 | L1 | L1 | L1 | 1,00 | L1 |
| Эдуард Бабоян | — | L1 | L1 | L1 | — | L1 | 1,00 | L1 |
| Среднее по команде | 1,3 | 1,6 | 1,1 | 1,2 | 1,4 | 1,5 | 1,37 |
Штриховка — критерий нельзя оценить. L1 светлый, L2 оранжевый.
Общие выводы по команде
Раскройте нужный блок.
Где сейчас командауровень команды и распределение
Команда находится на уровне L1 (Assistive), в его верхней части. Средняя оценка по восьми участникам — 1,4 из 4, медиана 1,2. Три участника (Костромина, Бабичев, Голов) на уровне L2, пятеро на L1, ни одного на L0 и ни одного на L3 и выше.
Это ожидаемая картина для команды, которая пришла к AI как к чату: все восемь работают с AI самостоятельно, без общей системы. Разброс небольшой: между лидером и последним по средней оценке менее одного уровня, то есть различия лежат не в «умею и не умею», а в том, как организована работа вокруг AI.
Профиль команды по критериямсредняя ступень по шести критериям
Самые слабые критерии: база данных (1,1), скиллы и mcp (1,2) и доля задач (1,3). Самый сильный — архитектура (1,6). Число участников на L2 и выше по критериям: доля задач — 2 из 7, архитектура — 5 из 8, база данных — 1 из 7, скиллы и mcp — 2 из 8, модели — 3 из 7, двойная проверка — 4 из 8.
Шкала от 0 до 4. Эдуард не оценён по доле задач и моделям, Иван — по базе данных.
Сильные сторонына что можно опереться
- Качество диалога. Антон, Давид, Евгений и Дарья ставят подробные запросы с образцом, данными и ограничениями, возвращаются с точными правками и умеют остановить AI, когда тот уходит в сторону.
- Интенсивность. У Евгения и Дарьи по заявлению 26–50% задач идёт через AI, Дарья называет 16+ часов в неделю и 20 задач за неделю.
- Системное мышление. Иван строит агента в Codex с версиями, резервной точкой и четырьмя расписаниями; Дарья настроила персонализацию, пишет и читает Google Таблицы, создаёт файлы презентаций.
- Осознанная проверка у части участников. Дарья требует прислать информацию на проверку до изменения файла, Евгений находит ошибки и неверные числа в чатах, Давид ловит логические несоответствия.
- Режим рассуждения и агентные среды. Евгений и Иван используют Thinking-версии ChatGPT и агентную среду Codex.
- Осторожность с данными. Дарья принципиально не передаёт AI персональные данные и резюме, Иван сообщает о правилах в своей команде: не использовать секреты в промптах и всегда проверять результат.
- Готовность к росту. Четверо участников уже читают новости об AI хотя бы из одного источника, а у Ивана видно применение нового в своей работе (интерес И2).
Западающие зонычто тянет команду вниз
- Проверка результата по данным — самый заметный разрыв. Из семи участников, приступивших к кейсу, никто не нашёл самостоятельно ни одной из четырёх ошибок ядра: решение выдавал AI, человек принимал результат. В чатах проверка эпизодическая у Антона и Анастасии; у Дмитрия и Эдуарда в материалах нет ни одной правки и проверки.
- Нет постоянной базы данных. Материалы передаются скриншотами, вставленным текстом и файлами каждый раз. Постоянные материалы, из которых AI берёт информацию сам, подтверждены лишь частично: у Дарьи (память и таблицы) и у Евгения (рабочая папка Codex). У Ивана в Codex виден только репозиторий с кодом агента.
- Нет собственных скиллов и подключений. Подключение к рабочим системам подтверждено только у Дарьи (Google Таблицы); у Ивана подключение к Битрикс24 запланировано, но не создано. Собственных скиллов не показал никто.
- Один сервис. В чатах и кейсах один сервис у Антона, Давида, Дмитрия и Дарьи. Больше одного видно у Евгения, Ивана (ChatGPT и Codex) и Анастасии (Perplexity и агентный режим). Сверка на второй модели почти не встречается.
- Все работают в одиночку. В восьми анкетах «только сам», правила по работе с AI в команде заявил один участник из восьми. Обмена практиками нет.
- Платная подписка у пяти из восьми — из личных средств. У Давида, Дмитрия и Эдуарда платных сервисов нет, поэтому лимиты бесплатных версий мешают работать с файлами.
- Рабочая практика плохо видна. В публичных ссылках нет дат, часть участников не сдала чаты или кейс. Это ограничение аудита, но и сигнал: работу с AI трудно показать, потому что она не оформлена в проекты и артефакты.
Западающие процессы по реестрам задачгде больше всего часов в месяц и где автоматизация очевидна
Семь участников заполнили реестр (Дарья не начала). Всего в реестрах 570,2 часов в месяц на повторяющиеся процессы. Сами участники отметили, что 215,0 часов (38%) можно автоматизировать полностью, ещё 116,7 часов (20%) частично. По Дмитрию приходится 390,0 часов, то есть 68% всех часов команды.
Что это значит для команды:
- Задачи, напоминания и контроль исполнения — самая большая тема: сводка задач, контроль договорённостей, напоминания, отслеживание задач подчинённых, оповещения филиалам. Это типовой процесс для агента, который читает рабочую систему и сообщает исключения.
- Встречи — планёрки, созвоны, итоги и протоколы. Подготовка повестки и разбор итогов в задачи автоматизируются скиллами.
- Анализ коммуникаций и операционный контроль точек (время ответов менеджеров, тон общения, открытие точек, стоп-листы). Дмитрий сам отметил почти всё как автоматизируемое полностью.
- Реестр показывает, где отдача от AI самая высокая, но не показывает, что из этого уже идёт через AI: доли задач в нём нет.
Данные аудита и что нужно доделатьчтобы получить полную и сопоставимую картину
| Участник | Чего не хватает |
|---|---|
| Дарья | Не пройдены кейс и реестр. Нужны скриншоты ассистентов, подключений и расписаний. Уровень выше L2 пока подтвердить нельзя. |
| Эдуард | Не сданы рабочие чаты, кейс остановлен на первом ответе. Оценка предварительная, оценены четыре критерия из шести. |
| Иван | Не использован отчётный промпт в кейсе, устройство агента неизвестно. Один чат Codex и один чат ChatGPT. Нужен скриншот заявленных подключений. |
| Евгений | Не показаны заявленные проект с «фактурой о личности» и подключение таблиц. |
| Все | Список чатов с датами: публичные ссылки их не показывают, поэтому долю задач и регулярность проверить нельзя. |
Что делать компании: приоритетыпредложение по порядку действий
- Утвердить правила по данным. В семи анкетах из восьми правил нет, а в материалах есть внутренние показатели, документы кандидатов и договорные условия. Это самое дешёвое и самое срочное решение, которое принимают владельцы.
- Дать всем участникам на L1 общий «стартер L2»: проект с ролью и метриками, файл «Мой стиль», данные файлом вместо скриншотов, чек-лист из трёх проверок цифр. Наставниками могут быть Дарья, Иван и Евгений.
- Провести практикум по проверке. На кейсе «Рассвет» разобрать, как найти четыре ошибки ядра самостоятельно. Цель: каждый находит не меньше двух из четырёх.
- Запустить пилот автоматизации операционного контроля. Процесс «Открытие точки в 10:00» и контроль задач и напоминаний: по реестрам это самый крупный пул часов. Измерять долю точек, открывшихся в срок, и часы на контроль.
- Дать агентную среду тем, кто готов: Евгению, Ивану, Дарье и Антону. Сейчас пятеро из восьми платят за подписки сами.
- Закрыть недостающие данные аудита (таблица выше) и вернуться к оценке.
- Повторный аудит через 6–8 недель. Реалистичный ориентир: четыре–пять человек на L2 и первые подтверждённые элементы L3 у двух–трёх.
Ориентир по срокам и результатам оценочный, он не основан на замерах.
Участники и индивидуальные отчёты
Нажмите на участника, чтобы открыть его отчёт на отдельной странице. Внутри отчёта: вывод, профиль из шести критериев, разбор заданий и индивидуальный маршрут развития до L4.