Как проверяли работу с ИИ

В исследовании, финансируемом Google, две трети участников получили доступ к InFlow — ещё не выпущенному помощнику Google Labs. Остальные выполняли задания без ИИ. В двух задачах юристы составляли патентные формулы: пользоваться InFlow могла только первая группа.

В третьем задании все участники без ИИ редактировали черновик патента, отмечая проблемы и предлагая исправления. Авторы считали, что составление документов показывает непосредственный эффект помощи ИИ, а редактирование — насколько хорошо специалисты усвоили навыки и могут применять их самостоятельно. Результаты оценивали не знавшие, к какой группе относились работы, патентные юристы независимой фирмы по пяти критериям: исполнимость, техническая точность, стратегическая неоднозначность, полнота и ясность.

Младшие юристы сильнее улучшили черновики

В заданиях на составление патентных формул группа с ИИ показала лучшие результаты и через 10, и через 90 дней. Разница наблюдалась по всем пяти критериям. Улучшение в основном выражалось в том, что стало меньше низких оценок и больше промежуточных; число самых высоких оценок почти не изменилось.

Наибольшую пользу получили юристы со стажем менее семи лет: их черновики реже получали низкие оценки. Однако в задании на редактирование без ИИ преимущество группы в целом обеспечили только опытные специалисты. У младших юристов его не было, несмотря на заметный прогресс при составлении документов.

Что показала проверка без помощника

У младших участников результаты редактирования разошлись: промежуточных оценок стало меньше, а низких и высоких — больше. Число высших оценок не выросло. Авторы предполагают, что ИИ ускорил развитие навыков у одних юристов, но у других мог заменить практику; эксперимент не объясняет, почему эффекты различались. По наблюдению исследователей, сильнее всего выигравшие от ИИ участники хуже сохраняли навыки. Это может означать, что исходная экспертиза нужна, чтобы превращать работу с помощником в устойчивое умение.

Дополнительный анализ текстов показал, что опытные специалисты чаще перестраивали проблемный черновик и обосновывали изменения юридическими принципами. Младшие чаще замечали серьёзные недостатки, но не исправляли их, оставляя комментарии, похожие на инструкции ИИ. Такое поведение встречалось и у контрольной группы, поэтому авторы не связывают его с обучением на ИИ, а трактуют как исходный пробел в подготовке младших юристов.

Исследователи отмечают ограничения: небольшую выборку, связанную с высокой стоимостью времени ведущих специалистов, нерепрезентативность участвовавших фирм, отсутствие измерения исходных навыков и короткий — три месяца — срок наблюдения по сравнению с годами, необходимыми для развития патентной экспертизы. Авторы считают, что напряжение между ростом производительности и развитием навыков важно сохранять в поле зрения, пока профессионалам приходится принимать решения без ИИ.