Лучший ответ по хирургии
Как и любой студент, окончивший 6 курсов медицинского вуза искусственный интеллект Сбера прошел тестирование и ответил на вопросы билета. Итоговая оценка — 4.
Стандартный билет к устному экзамену содержит три ситуационные задачи — по терапии, хирургии, акушерству и гинекологии — и 3–5 вопросов к ним («укажите предполагаемый диагноз», «составьте план лечения», «назначьте дополнительные обследования» и так далее). Также GigaChat прошел тестирование из 100 вопросов. Он набрал 82% при пороге прохождения 70%.
«С моей точки зрения, прошло все замечательно, потому что я видела, на что был способен наш студент почти год назад. И, честно говоря, я сегодня немножко волновалась. И я должна сказать, что тот путь, который он прошел с нашей помощью, он абсолютно гениален. Потому что для меня сегодня был неожиданный результат», — рассказала профессор кафедры факультетской терапии с клиникой НМИЦ им. В. А. Алмазова Ольга Большакова.
По ее словам, четыре — это прекрасная оценка для первой попытки.
Она добавила, что GigaChat имел некоторую такую тропность к хирургическим заболеваниям. И ответ по хирургии, по мнению профессионалов, был лучшим, а ответ по терапии — послабее.
«Но, тем не менее, я повторю, что по сравнению с тем, с чего мы начинали, он все равно, конечно, прошел очень большой путь и достигнут очень хороший прогресс. Но вот поскольку терапия, наверное, все-таки самая широкая специальность, здесь, конечно, есть еще над чем работать. Спасибо», — сказала профессор.
Необычный опыт
Заведующий кафедрой факультетской хирургии с клиникой НМИЦ им. В. А. Алмазова Иван Данилов признает, что опыт был необычным.
«Необычно, потому что любой экзамен, когда в общении человек-человек, видишь эмоции собеседника, как он реагирует на вопросы. Запинается или не запинается, когда отвечает. Здесь ощущение необычное, никаких запинок, короткая задержка на обдумывание. И дальше просто выходит ровный совершенно ответ. Это необычно. Хороший очень опыт для меня, в том числе. И, конечно, есть чему стремиться дальше», — сказал он.
Первый вопрос для ИИ оказался акушерски-хирургическим, а второй вопрос — чисто хирургическим.
«Мне показалось, что по хирургии наиболее полный и лучший ответ, особенно второй. Вот по терапии чуть слабее, но были и более емкие вопросы по объему. У нас все-таки в хирургии более конкретные вопросы, комментарии. Мне понравилось, как отвечал, потому что по хирургии второй вопрос — это точно твердая такая пятерка и две твердые четверки по другим вопросам», — отметил Данилов.
Он добавил, что некоторые ответы были чрезмерно развернутые, большие, некоторые излишне избыточные, и назначил анализ и методы обследования, которые в хирургии не применяются, потому что на это нет времени.
Превзошел ожидания
«На удивление, наверное, всей комиссии, а я разделю мнение коллег, что он даже превзошел наши ожидания. Но мы, безусловно, те, кто проходил весь этот путь с самого начала, естественно, смотрели за его эволюцией и всегда были довольны результатом. А то, что мы увидели сегодня, конечно, во многом превзошло даже наши самые смелые ожидания», — заявил заместитель генерального директора НМИЦ им. В. А. Алмазова по информационным технологиям и проектному управлению Дмитрий Курапеев.
Член приемный комиссии убежден, что оценку «хорошо» нейросеть заслужила в полной мере.
«Есть над чем работать. И это связано, прежде всего, со специализацией и различными направлениями. Поэтому я надеюсь, так же, как и студент наш. Наша языковая модель большая, она пойдет дальше в ординатуру, возможно, в аспирантуру и действительно станет многогранным специалистом высочайшего класса», — заключил Дмитрий Курапеев.