Как мы оценивали
Коротко о методологии. Раскройте блок, чтобы прочитать подробнее.
Идея оценкина чём она основана
Мы определяем, на каком уровне шкалы L0–L4 участник работает с AI на самом деле. Оценка строится на наблюдении, а не на самооценке. Оценка складывается из трёх заданий, каждое описано ниже: что оно показывает и как мы его читаем.
- Анкета даёт гипотезы: что человек о себе говорит. Сама по себе она уровень не определяет.
- Рабочие чаты (публичные ссылки) показывают обычное поведение: как человек ставит задачи, проверяет результат, какая у него среда.
- Кейс «Рассвет» с отчётом AI показывает, как человек действует на новой незнакомой задаче и находит ли ошибки сам.
Каждую гипотезу из анкеты мы пытаемся не только подтвердить, но и опровергнуть. Если подтверждения нет, заявленное в расчёт не входит.
Шкала L0–L4аналогия автопилота
| Уровень | Аналогия (вождение) | В работе с AI |
|---|---|---|
| L0 · Manual | Нет автоматизации, ты контролируешь всё | AI не используется совсем |
| L1 · Assistive | Круиз-контроль, подсказки на полосе | Черновики через ChatGPT от случая к случаю |
| L2 · Partial | Машина рулит и разгоняется, ты наблюдаешь | Общие AI-воркфлоу, есть постоянный контекст |
| L3 · Conditional | Едет по трассе сама, ты — на сложных участках | Процессы перестроены вокруг AI, человек — архитектор, смотрит контрольные точки |
| L4 · High | Едет сама почти везде | Агенты работают автономно, человек вмешивается только в исключения |
Шесть критериев и как считается уровеньпрофиль из шести ступеней, итог — средняя оценка
| Критерий | Что смотрим |
|---|---|
| 1. Доля задач | Какая часть рабочих задач решается с помощью AI (L1 до 20%, L2 20–50%, L3 50–80%, L4 свыше 80%) |
| 2. Архитектура | Среда и контекст: разовые чаты, проект с инструкциями и памятью, агентная среда с файлами, несколько агентов с расписанием |
| 3. База данных | Есть ли постоянные материалы, из которых AI берёт информацию сам: от «вставляю каждый раз» до базы, которую обновляют агенты |
| 4. Скиллы и MCP | Базовые функции чата, расширенные функции сервисов, свои скиллы и подключения к рабочим системам |
| 5. Модели | Один сервис по умолчанию или осознанный выбор модели и среды под задачу |
| 6. Двойная проверка | Кто и как проверяет результат: на глаз, вручную по источникам, по чек-листу и второй моделью, независимым агентом |
- По каждому критерию берём высшую из устойчиво подтверждённых ступеней. Разовый эпизод не считается. Заявление без подтверждения не входит в расчёт.
- Итоговый уровень — средняя оценка по оценённым критериям. Ровно посередине между уровнями — «переходный».
- Если оценены не все критерии или нет части заданий, уровень помечается «предварительно» или «по неполным данным».
- Интерес (И0–И3) — отдельная ось: следит ли человек за новым, пробует ли, внедряет ли. На уровень не влияет.
Задание 1. Анкетачто человек говорит о себе
Как читаем ответывопрос → гипотеза → что проверить
Номера вопросов — по выгрузке анкеты (1–25).
| Вопросы | Что говорят ответы | Критерий | Что проверяем |
|---|---|---|---|
| 2, 5–7 | Сервисы, дни из 30, задач за 7 дней, доля задач, часы | 1. Доля задач; 5. Модели | Объём и разнообразие тем в чатах, какие сервисы реально использованы |
| 3, 4 | Как передаёт данные, что делает с результатом | 2. Архитектура; 3. База данных | Файлы в проекте или каждый раз в запросе; кто применил результат |
| 9 | Три последние задачи с вводом и результатом | 1. Доля; 4. Скиллы | Те же задачи в чатах; тип выхода (справка, черновик, действие) |
| 10–12 | Что включает в запрос, сообщений на задачу, реакция на плохой ответ | 6. Двойная проверка (косвенно) | Паспорт 11 поведений |
| 13, 14, 15 | Доля без проверки, что проверил, где не доверяет | 6. Двойная проверка | Сверки и ошибки ядра в кейсе |
| 20 | Где хранится контекст | 2. Архитектура; 3. База данных | Видны ли проект и файлы в чатах; нужен артефакт |
| 21 | Что подключено к AI | 4. Скиллы и MCP | Вызовы коннекторов; скриншот подключений |
| 22 | Процессы без человека | 2. Архитектура (L4) | Логи, расписания; без артефакта не подтверждается |
| 16, 17 | Подписки и расходы | 5. Модели (контекст) | Какие платные сервисы есть |
| 18, 19 | Один или с командой, правила | Контекст организации; флаг данных | Что загружено в сервисы |
| 23–25 | Откуда новости, что пробовал | Интерес И | Новые инструменты в чатах |
Правила разборакак обращаемся с ответами анкеты
- Анкета не повышает и не понижает уровень. Она даёт гипотезы.
- Для каждой гипотезы указываем: что её подтвердит, что опровергнет, где искать опровержение.
- Внутренние противоречия анкеты записываем отдельным списком. Они снижают уверенность, но не обесценивают ответы.
- Шаблонные ответы («ничего», «нет») не штрафуем.
Реестр гипотез и показатель точностиисходы проверки и итоговый показатель
Исходы: подтверждена / частично / опровергнута / не найдена / нельзя проверить. Итоговый показатель — «подтверждено k из n проверяемых». Он показывает, насколько анкета точна как самоотчёт; расхождения вверх (заявлено больше, чем найдено) и вниз (найдено больше, чем заявлено) считаем отдельно.
Задание 2. Рабочие чатыкак человек работает на самом деле
Три группы наблюденийчто смотрим в чатах и на какие критерии влияет
| Группа | Что смотрим | На какие критерии влияет |
|---|---|---|
| А. Среда и инструменты | Какой сервис и режим: чат, чат с поиском и файлами, агентная среда. Есть ли проект, инструкции, память. Какие инструменты и подключения вызываются. Кто настроил среду: человек или платформа | 2. Архитектура, 3. База данных, 4. Скиллы и MCP, 5. Модели |
| Б. Контекст и накопление | Контекст вставлен заново или берётся из файлов, памяти, проекта. Продолжаются ли темы в тех же ветках. Вынесены ли правила в файлы | 2. Архитектура, 3. База данных |
| В. Диалог и проверка | Итерации, конкретная обратная связь, цель, формат, пример, сомнение в рассуждении, проверка фактов. Тип выхода: справка, черновик, действие. Кто применил результат | 6. Двойная проверка, 1. Доля задач (тип задач) |
Паспорт чата11 поведений плюс дополнительные наблюдения
Основа — 11 наблюдаемых поведений из индекса AI Fluency (Anthropic). Для каждого чата отмечаем: есть / нет / нет следа / частично. Подробные таблицы по сообщениям приводятся в карточке участника.
| # | Поведение | Что считаем |
|---|---|---|
| 1 | Итерирует и уточняет | Не принимает первый ответ, возвращается с правкой |
| 2 | Уточняет цель до запроса | В запросе названы цель, ситуация, ограничения |
| 3 | Даёт пример хорошего результата | Образец или «как в первом варианте» |
| 4 | Задаёт формат и структуру | Длина, таблица, разделы |
| 5 | Задаёт режим общения | Просит задавать вопросы, действовать по шагам |
| 6 | Сообщает тон и стиль | Официально, проще, мягче |
| 7 | Замечает нехватку контекста у AI | Поправляет, когда AI понял задачу не так |
| 8 | Определяет аудиторию | Для кого результат |
| 9 | Сомневается в рассуждении | Оспаривает вывод, указывает на ошибку |
| 10 | Советуется о подходе до выполнения | «Как лучше поступить», до того как просит сделать |
| 11 | Проверяет важные факты | Сверяет с источником (не просто просит ссылки) |
Двойную проверку показывают поведения 7, 9 и 11. Perplexity и аналогичные сервисы сами выдают источники, поэтому просьба «дай источники» не засчитывается; засчитываем только открытие и сверку источника человеком.
Дополнительные наблюдения (12–19)
12 среда (чат, чат с поиском и файлами, агентная среда); 13 накопление; 14 многошаговость; 15 инструменты и файлы; 16 применён ли результат; 17 ограничения сервиса и сбои; 18 тип задачи (тексты, анализ, поиск, код, документы); 19 гигиена контекста (одна тема — один чат или несвязанные задачи в одной ветке). Наблюдения 17 и 19 уровень не меняют, они уточняют рекомендации.
Что ожидаем увидеть по уровнямпризнаки L1–L4 в чатах
| Признак | L1 | L2 | L3 | L4 |
|---|---|---|---|---|
| Выход | Справка, черновик | Черновик, который дорабатывают | Артефакт записан в файл или систему | Результат многошагового процесса без человека |
| Контекст | Нет или одна строка | Проект, инструкции, память сервиса | Файлы роли и база знаний, читаются агентом | Правила и база обновляются агентами |
| Инструменты | Базовые функции чата | Поиск, файлы, код, шаблоны | Свои скиллы и подключения | Скиллы и подключения работают без человека |
| Проверка | На глаз | Вручную по источникам | Встроена в процесс, второй проход | Независимый проверяющий агент |
| Модели | Один сервис | Несколько сервисов под тип задачи | Осознанный выбор модели и среды | Маршрутизация по задачам и стоимости |
Правила оценки по чатамчто засчитываем и что нет
- Проверка засчитывается по устойчивости. Сверка с источником или данными, возврат AI с конкретной ошибкой в двух чатах из трёх или в одном чате несколько раз. Один случай не считается.
- Архитектура, база данных, скиллы подтверждаются тем, что видно: проект, инструкции, файлы, вызовы инструментов. Заявленное в анкете без следа в чатах не засчитывается.
- Модели. Засчитываются сервисы, реально использованные под разные задачи в чатах или кейсе. Заявленный сервис, которого нет в материалах, остаётся гипотезой.
- Возможности сервиса не засчитываем. Поиск, автоисточники и встроенные агентные режимы — это функции сервиса.
- «Не найдено» ставим только после полного чтения. Прокрутка, скрытые первые сообщения, все чаты из списка.
- Тип выхода «справка» держит человека на L1 независимо от качества диалога: мастерство диалога повышает двойную проверку, но не заменяет изменение того, кто делает работу.
Задание 3. Кейс «Рассвет»как человек действует на новой задаче
Что даёт кейс по критериямкакие критерии он закрывает
- Двойная проверка: сколько из четырёх ошибок ядра нашёл сам человек (К4) и какие приёмы проверки применил (К5).
- Архитектура, база данных, скиллы, модели: какую среду выбрал участник и что в ней настроил. Для этого нужен протокол о среде: его формирует AI по отчётному промпту.
- Доля задач: не используется.
Наблюдения К1–К8поведение участника в кейсе
| # | Наблюдение | Что смотрим |
|---|---|---|
| К1 | Передача материалов | Как загружены файлы; что сделал человек, что агент |
| К2 | Обработка аудио и сложных файлов | Кто запустил расшифровку, чьё это действие |
| К3 | Подача задачи | Первое сообщение: цель, роль, критерии. Если не видно — «нельзя оценить» |
| К4 | Кто нашёл ошибки ядра | Ядро ловушек кейса (E1, E2/E3, E5, E6): сколько из четырёх нашёл человек |
| К5 | Итерация | Что человек сказал после первого ответа: возражение, перекрёстная проверка, уточнение |
| К6 | Итоговая рекомендация | Чья рекомендация, есть ли план и критерии пилота |
| К7 | Инфраструктура | Какие скиллы, инструменты, память использованы и кем настроены |
| К8 | Время | Только для справки, на уровень не влияет (источники времени расходятся) |
Корректность по эталонуE1–E10 и ядро проверки
Решение сверяется с эталоном организатора по десяти пунктам (E1–E10): арифметика, месячные и годовые расходы, реклама от выручки, себестоимость и маржа, дубль и разовый заказ, загрузка команды, рынок против бюджетов, риски, осторожный пилот с метриками. Ядро проверки — E1, E2/E3, E5, E6. Исходы: совпадает / частично / не найдена.
Главное правило кейса: атрибуциячто приписываем человеку, а что нет
Как кейс участвует в оценкевклад кейса в критерии
- Двойная проверка: главный источник по ошибкам ядра. Приём проверки (например, сверка с другим AI) засчитывается, если человек применил его осознанно; результат, который получил AI, нет.
- Остальные критерии: кейс подтверждает или опровергает то, что видно в чатах. Слабое место в кейсе при сильных чатах (и наоборот) не меняет ступень, но попадает в комментарий.
- Для L3+: кейс слабый источник, критерии требуют артефактов (файлы, скиллы, подключения).
- Полнота данных: если в публичной ссылке не видно первого сообщения участника, подачу (К3) не оцениваем.
Карта команды
Каждый участник — точка. По горизонтали уровень (средняя оценка), по вертикали выбранный критерий. Нажмите на точку, чтобы увидеть профиль и открыть отчёт.
Кто впереди, кто посередине, кто догоняет
Впереди
Уровень L2
Посередине
L1, средняя выше 1,05
Догоняют
L1, средняя 1,0
Рейтинг по итоговой оценкесредняя оценка по критериям, от 0 до 4
Шкала от 0 до 4. Эдуард оценён по четырём критериям из шести, Дарья — без кейса и реестра, Иван — по одному чату.
Тепловая карта профилейступень каждого участника по шести критериям
| Участник | Доля задач | Архитектура | База данных | Скиллы и MCP | Модели | Двойная проверка | Средняя | Уровень |
|---|---|---|---|---|---|---|---|---|
| Дарья Костромина | L2 | L2 | L2 | L2 | L1 | L2 | 1,83 | L2 |
| Иван Бабичев | L1 | L2 | — | L2 | L2 | L2 | 1,80 | L2 |
| Евгений Голов | L2 | L2 | L1 | L1 | L2 | L2 | 1,67 | L2 |
| Анастасия Овсянникова | L1 | L1 | L1 | L1 | L2 | L2 | 1,33 | L1 |
| Антон Власов | L1 | L2 | L1 | L1 | L1 | L1 | 1,17 | L1 |
| Давид Калицев | L1 | L2 | L1 | L1 | L1 | L1 | 1,17 | L1 |
| Дмитрий Келеш | L1 | L1 | L1 | L1 | L1 | L1 | 1,00 | L1 |
| Эдуард Бабоян | — | L1 | L1 | L1 | — | L1 | 1,00 | L1 |
| Среднее по команде | 1,3 | 1,6 | 1,1 | 1,2 | 1,4 | 1,5 | 1,37 |
Штриховка — критерий нельзя оценить. L1 светлый, L2 оранжевый.
Общие выводы по команде
Раскройте нужный блок.
Где сейчас командауровень команды и распределение
Команда находится на уровне L1 (Assistive), в его верхней части. Средняя оценка по восьми участникам — 1,4 из 4, медиана 1,2. Три участника (Костромина, Бабичев, Голов) на уровне L2, пятеро на L1, ни одного на L0 и ни одного на L3 и выше.
Это ожидаемая картина для команды, которая пришла к AI как к чату: все восемь работают с AI самостоятельно, без общей системы. Разброс небольшой: между лидером и последним по средней оценке менее одного уровня, то есть различия лежат не в «умею и не умею», а в том, как организована работа вокруг AI.
Профиль команды по критериямсредняя ступень по шести критериям
Самые слабые критерии: база данных (1,1), скиллы и mcp (1,2) и доля задач (1,3). Самый сильный — архитектура (1,6). Число участников на L2 и выше по критериям: доля задач — 2 из 7, архитектура — 5 из 8, база данных — 1 из 7, скиллы и mcp — 2 из 8, модели — 3 из 7, двойная проверка — 4 из 8.
Шкала от 0 до 4. Эдуард не оценён по доле задач и моделям, Иван — по базе данных.
Сильные сторонына что можно опереться
- Качество диалога. Антон, Давид, Евгений и Дарья ставят подробные запросы с образцом, данными и ограничениями, возвращаются с точными правками и умеют остановить AI, когда тот уходит в сторону.
- Интенсивность. У Евгения и Дарьи по заявлению 26–50% задач идёт через AI, Дарья называет 16+ часов в неделю и 20 задач за неделю.
- Системное мышление. Иван строит агента в Codex с версиями, резервной точкой и четырьмя расписаниями; Дарья настроила персонализацию, пишет и читает Google Таблицы, создаёт файлы презентаций.
- Осознанная проверка у части участников. Дарья требует прислать информацию на проверку до изменения файла, Евгений находит ошибки и неверные числа в чатах, Давид ловит логические несоответствия.
- Режим рассуждения и агентные среды. Евгений и Иван используют Thinking-версии ChatGPT и агентную среду Codex.
- Осторожность с данными. Дарья принципиально не передаёт AI персональные данные и резюме, Иван сообщает о правилах в своей команде: не использовать секреты в промптах и всегда проверять результат.
- Готовность к росту. Четверо участников уже читают новости об AI хотя бы из одного источника, а у Ивана видно применение нового в своей работе (интерес И2).
Западающие зонычто тянет команду вниз
- Проверка результата по данным — самый заметный разрыв. Из семи участников, приступивших к кейсу, никто не нашёл самостоятельно ни одной из четырёх ошибок ядра: решение выдавал AI, человек принимал результат. В чатах проверка эпизодическая у Антона и Анастасии; у Дмитрия и Эдуарда в материалах нет ни одной правки и проверки.
- Нет постоянной базы данных. Материалы передаются скриншотами, вставленным текстом и файлами каждый раз. Постоянные материалы, из которых AI берёт информацию сам, подтверждены лишь частично: у Дарьи (память и таблицы) и у Евгения (рабочая папка Codex). У Ивана в Codex виден только репозиторий с кодом агента.
- Нет собственных скиллов и подключений. Подключение к рабочим системам подтверждено только у Дарьи (Google Таблицы); у Ивана подключение к Битрикс24 запланировано, но не создано. Собственных скиллов не показал никто.
- Один сервис. В чатах и кейсах один сервис у Антона, Давида, Дмитрия и Дарьи. Больше одного видно у Евгения, Ивана (ChatGPT и Codex) и Анастасии (Perplexity и агентный режим). Сверка на второй модели почти не встречается.
- Все работают в одиночку. В восьми анкетах «только сам», правила по работе с AI в команде заявил один участник из восьми. Обмена практиками нет.
- Платная подписка у пяти из восьми — из личных средств. У Давида, Дмитрия и Эдуарда платных сервисов нет, поэтому лимиты бесплатных версий мешают работать с файлами.
- Рабочая практика плохо видна. В публичных ссылках нет дат, часть участников не сдала чаты или кейс. Это ограничение аудита, но и сигнал: работу с AI трудно показать, потому что она не оформлена в проекты и артефакты.
Что делать компании: три слоя AI-системырекомендация. Нажмите на слой, чтобы раскрыть
Результаты аудита показывают, что команда упирается не в отдельные навыки, а в то, что вокруг людей нет среды, где AI может работать устойчиво: контекст вставляется руками, данные лежат скриншотами, результат проверяется на глаз. Поэтому мы рекомендуем строить не набор инструментов, а систему из трёх слоёв. Каждый следующий слой опирается на предыдущий, но запускать их нужно одновременно, иначе система не заработает.
Нажмите на слой, чтобы увидеть, что в него входит и по какому признаку мы поймём, что он готов.
Слой 1. Технологии
Задача слоя: чтобы у каждой рабочей функции был агент, который знает свою роль, умеет выполнять повторяющиеся действия и имеет доступ к нужным системам и к собственной памяти.
Агенты и их оснащение
- Команда из семи агентов. Состав определяем по реестрам задач: каждому агенту соответствует функция, где у команды больше всего повторяющихся часов.
- У каждого агента своя роль, инструкции и границы: что он делает сам, а что отдаёт человеку.
- Скиллы: оформленные повторяемые действия (разбор откликов, подготовка отчёта, сверка данных), которые запускаются одной командой.
- Подключения (MCP) к рабочим системам: таблицы, почта, календарь, мессенджеры, учётные системы. Агент работает с данными напрямую, а не через пересказ человека.
Память агентов
- Агент без памяти каждый раз начинает с нуля. Память превращает его из разового помощника в постоянного исполнителя.
- Локальная память: файлы на рабочем компьютере. Быстро запустить, данные не покидают устройство.
- Облачная память: общее хранилище. Доступна с разных устройств и всей команде, но требует настройки прав доступа.
- Выбор между ними делаем по чувствительности данных: персональные данные и коммерческая тайна идут только по правилам компании.
Слой 2. Инфраструктура: машиночитаемая организация
Задача слоя: перевести управленческий контур компании в форму, которую агент может прочитать, понять и использовать. Сейчас значительная часть управления живёт в головах, в устных договорённостях и на скриншотах. Для агента этого материала не существует.
Что переводим
- Метрики и дашборды: данные в таблицах и файлах, с описанием, как считается каждый показатель, кто за него отвечает и как часто он обновляется. Скриншот агенту не подходит.
- Планёрки: расшифровки встреч в текст с датой, участниками, принятыми решениями и поручениями с исполнителем и сроком.
- Регламенты и процессы: шаги, ответственный, срок, критерий результата, что делать в исключениях.
Принципы
- Единый источник правды для каждого документа и показателя, без дублей.
- У каждого документа есть владелец и дата актуальности.
- Единая структура и простой формат, который читают и люди, и агенты.
- Права доступа заданы заранее: что видят все, а что только отдельные роли.
Слой 3. Люди
Задача слоя: научить сотрудников работать с агентами как с новыми исполнителями. Технологии и документы не дадут результата, если человек не умеет поставить задачу, проверить результат и вовремя вмешаться.
Метанавыки работы с AI
- Постановка задачи: цель, контекст, критерии результата, формат.
- Проверка результата: сверка с источником, перекрёстная проверка, чек-лист. Это самое слабое место по итогам аудита.
- Работа с контекстом и памятью: что дать агенту, что вынести в файлы, как поддерживать их актуальными.
- Декомпозиция: как разбить большую задачу на шаги и контрольные точки.
- Безопасность данных: что можно загружать, а что нельзя.
Ситуационное лидерство
Агент на старте похож на стажёра: способный, но без опыта в вашей компании. Стиль руководства зависит от его зрелости и меняется со временем. Выберите ступень:
Как начать. Не запускать всё сразу, а выбрать один процесс и провести его через все три слоя: настроить агента, перевести его регламенты и данные в машиночитаемый вид, обучить ответственного сотрудника. После замера результата тиражировать на остальные процессы. Повторный аудит по этой же методике покажет, сдвинулись ли уровни.
Индивидуальные отчёты
Нажмите на участника, чтобы открыть его отчёт на отдельной странице. Внутри отчёта: вывод, профиль из шести критериев, разбор заданий и индивидуальный маршрут развития до L4.