В первой лекции, посвященной задачам и инструментам современной наукометрии, речь шла о том, какие базовые наукометрические показатели существуют и как именно они формируются. Во второй лекции речь пойдет о специальных аналитических инструментах — InCites и SciVal Spotlight, используемых при стратегическом планировании науки, а также при оценке работы отдельных научных коллективов и для принятия решений о выделении финансирования конкретных проектов и организаций.
Лекция II:
InCites и SciVal Spotlight — мощные инструменты планирования научной деятельности и анализа ее эффективности
С целью сравнительной оценки эффективности научной деятельности в разных областях науки крупнейшие наукометрические базы разрабатывают специальные аналитические инструменты. В последнее время в мире все больше и больше начинают использовать такие инструменты при стратегическом планировании науки, при оценке работы отдельных организаций, для принятия решений о выделении финансирования конкретных проектов и организаций. Что же это за инструменты?
Компания Thomson Reuters, создатель базы данных Web of Knowledge, частью которой является Web of Science, разработала InCites. Похожим продуктом второй крупнейшей компании Elsevier, являющейся создателем базы данных Scopus, стал аналитический инструмент SciVal Spotlight.
Если посмотреть на общие характеристики, то создается первое впечатление о почти полной функциональной идентичности (рис. 1):
В чем же отличие и есть ли оно? Кому и в каких случаях лучше использовать тот или иной инструмент? Попробуем сравнить, несмотря на то что реальное использование таких инструментов для решения поставленных задач требует значительных финансовых вложений.
Что же можно узнать из анализа публикаций в SciVal Spotlight?
SciVal Spotlight — «колесо наук»
Самое первое, что бросается в глаза – это «колесо наук», представленное так, что длины дуг разного цвета соответствуют соотношению количества публикаций в соответствующих областях науки в мире в анализируемый промежуток времени. «Кружочки» внутри колеса соответствуют кластерам публикаций, составляющих конкретную узкую предметную область, «компетенцию». Эти кластеры составлены на основе анализа кроссцитирования, т. е. если на одни и те же статьи ссылаются разные ученые, то эти ученые работают в одной или близких областях. Путем такого анализа всех имеющихся в базе данных Scopus публикаций Elsevier составляет кластеры и выделяет компетенции, куда попадают статьи, входящие в наиболее цитируемые в данном кластере.
Для стран и отдельных организаций устанавливаются различные пороговые значения для «попадания» в компетенцию, в зависимости от относительной доли публикаций и их цитирования, которые учитываются отдельно по годам. В зависимости от количества (доли) статей, попадающих в компетенцию, определяются явные компетенции (distinctive competency) и возникающие (emerging competency). Из публикаций страны или организации выбираются те, которые попадают в выделенные компетенции, и вот их-то мы и видим как кружочки в «колесе наук».
Таким образом, кружочки представляют собой статьи авторов организации в тех областях, где организация занимает лидирующее положение в мировой науке. Диаметр соответствует количеству публикаций, а положение – дисциплинарную область, при этом чем ближе к центру колеса располагаются кружочки, тем более междисциплинарный характер имеет соответствующий кластер публикаций. На рис. 2 представлены для сравнения карты науки России, Германии и Китая в виде «колеса науки», составленные на основании публикаций этих стран в Scopus в 2007–2011 годах.
Цвет сектора на колесе обозначает широкую дисциплинарную область (рис. 2)
Другой способ представления тех же данных – матричный – показывает положение выделенных кластеров публикаций в мировой системе научных публикаций (рис. 3).
Положение кружочка по горизонтали показывает относительную долю статей организации в мировом объеме публикаций по соответствующей компетенции. По вертикали положение соответствует скорости роста количества публикаций этой компетенции в мире. Таким образом, если кластер публикаций расположен в правом верхнем квадранте – то эта компетенция лидирует как по количеству публикаций, так и по интересу к этой области.
Если рассматривать такую диаграмму с административной точки зрения, то нетрудно догадаться, что вкладывать значительные финансовые средства в развитие научной области, которая представлена в нижнем левом квадранте, даже если количество публикаций в этой области велико, т. е. формальные показатели приличные, нерационально.
Это все равно что финансировать в эпоху космических кораблей расчет на суперкомпьютере полета воздушного шара, хотя это тоже может быть полезно для каких-то конкретных целей.
Сравнение представленных карт науки заставляет сильно задуматься о том, все ли у нас в порядке с организацией научного процесса в целом, а именно с финансированием областей, связанных с биологией, медициной, компьютерными науками, социально-гуманитарной областью, поскольку на рис. 3 отчетливо видно полное отсутствие компетенций в этих областях в России, а матричное представление показывает, что хороших публикаций в перспективных областях крайне мало.
Для каждой представленной компетенции в SciVal Spotlight доступна информация по составу авторов публикаций в стране (организации), в организациях конкурентах и сотрудничающих организациях и, соответственно, доступ к статьям в Scopus.
Одной из наиболее интересных особенностей SciVal Spotlight для организации является возможность подробного анализа сложившихся научных связей по данным о совместных публикациях. Эта возможность позволяет более объективно оценивать необходимость развития сотрудничества с конкретными научными организациями, определять перспективные для установления связей научные направления, так и оценивать эффективность уже имеющихся оформленных договоров о научно-техническом сотрудничестве. В SciVal доступна возможность просмотра сотрудничества непосредственно на географической карта, где для каждой страны указано количество организаций, с которыми имеются совместные публикации, также там можно просмотреть сведения по каждой конкретной сотрудничающей организации, а именно совместные статьи, статьи авторов, работающих в тех же компетенциях, но еще не работающих совместно (т. е. потенциальных соавторов), и другую весьма интересную информацию.
На рисунке представлена карта сотрудничества для Курчатовского института.
А что показывает InCites?
InCites — сравниваем, сопоставляем, связываем
В InCites есть возможность получать данные по нескольким большим разделам, а именно:
Research Performance Profiles — сведения о публикациях организации или страны, различные нормированные показатели, характеризующие публикации, рейтинги областей знаний, авторов и многое другое;
Global Comparison – сравнение сводных показателей стран, организаций в разрезе разных временных периодов, областей знаний, причем доступны различные предметные рубрикаторы.
В разделе Research Performance Profiles, в первую очередь, мы видим сводные данные по всем публикациям и их цитированию и список самых пишущих и самых цитируемых авторов и самых продуктивных научных направлений. На рис. 5 представлены общие данные по Российской Федерации, основанные на российских публикациях в Web of Science за 30 лет.
Следует иметь в виду, что, когда данные InCites составляются по указанию аффилиации в статьях, в списках авторов присутствуют также соавторы из других организаций или стран. Если набор данных основан на авторских профилях, то все сведения относятся к конкретной организации или стране.
Для анализа публикаций есть возможность составления как стандартных отчетов, так и настраиваемых отчетов (за определенный период времени, например) с представлением данных в виде списка статей, рейтинга авторов, рейтинга научных областей и т. д. Для каждой статьи наряду со стандартными библиографическими данными (название, авторы, журнал, год издания и др.) показана область знаний, к которой относится статья, импакт-фактор журнала, в котором она опубликована, количество цитирований данной статьи на момент составления отчета, а также специальные показатели, которые позволяют сравнивать между собой публикации разных лет, опубликованные в разных журналах, относящихся к разным предметным областям. Это следующие показатели:
– Journal Expected Citations – рассчитывается среднее цитирование статей, опубликованных в данном журнале в конкретном году;
– Journal Actual/Expected Citations - рассчитывается как отношение цитирования конкретной статьи к среднему цитированию статей, опубликованных в данном журнале в тот же год;
– Category Expected Citations – рассчитывается среднее цитирование статей, опубликованных в конкретной области знаний в конкретном году;
— Category Actual/Expected Citations — рассчитывается как отношение цитирования конкретной статьи к среднему цитированию статей, опубликованных в конкретной области знаний в конкретном году.
Percentile in Subject Area (Average Percentile в сводных таблицах) – в какой перцентиль попадает данная статья, т. е. если это значение составляет 1,0, значит статья попадает в 1% самых цитируемых статей по данной области знаний, опубликованных в данном году.
Эти же показатели приводятся и в таблицах, представляющих собой рейтинги авторов и областей наук, что позволяет сравнить публикационную активность в разных областях знаний, поскольку данные уже рассчитаны с учетом разных уровней цитирования в разных областях и нормированы к мировому уровню в соответствующей научной области.
В связи с этим сравнение естественных и гуманитарных областей, например, представляется в InCites весьма корректным. Возможно представление данных также в разрезе финансирующих организаций (грантодателей), сотрудничающих при написании статей организаций или стран. Для каждой позиции в отчете (автора, области знаний, финансирующего фонда или сотрудничающей организации) возможно и графическое наглядное представление всех описанных выше метрик.
На рис. 6 приведено графическое представление сводных данных о публикациях в области ETHNIC STUDIES в России в период с 1990-го по 2013 годы. На рисунке представлена следующая информация.
Слева – численные данные по количеству опубликованных статей, их цитированию первого и второго поколения, индекс Хирша, среднее цитирование и др.
На рисунках справа показаны:
% Articles Cited/ Uncited – отношение количества статей, процитированных хотя бы один раз, к общему количеству статей авторов в Web of Science;
Mean Percentile – среднее значение уровня цитирования статей по сравнению с мировым уровнем. На графике, представленном внизу, показано, на какую долю отличается количество статей, попавших в 1%, 5%, 10% и т. д. самых цитируемых статей по сравнению со среднемировым уровнем.
Category actual / Expected Cites – показывает среднее значение отношения реального цитирования статей к ожидаемому цитированию, рассчитанному по каждой области знаний, по каждому году и типу публикаций отдельно.
Journal actual / Expected Cites – показывает среднее значение отношения реального цитирования статей в конкретных журналах к ожидаемому цитированию статей в этих журналах.
Несмотря на то что этих публикаций крайне мало (всего 20), они достаточно высокого уровня: хотя процитированы всего 7 из 20 статей, они практически все попадают в 50% самых цитируемых в мире по данной области – средний перцентиль 30,89, а среднее цитирование по категории равно среднемировому цитированию.
Для сравнения, в целом по всем публикациям России за этот период средний перцентиль составляет 73,6, а среднее цитирование в два раза меньше среднемирового.
Весьма интересной в разделе Research Performance Profiles является возможность посмотреть, кто конкретно цитирует наши статьи – по странам, организациям, конкретным авторам, что создает хорошую возможность для поиска потенциальных партнеров в исследованиях.
Одной из самых интересных на сегодняшний день особенностей InCites является возможность проанализировать, как будут изменяться наукометрические показатели при составлении научной группы из разных ученых, работающих в сходной области.
Например, рассмотрим показатели по областям знаний одного из самых продуктивных авторов СПбГУ в области математической физики, что можно определить, в частности, и в SciVal Spotlight (DC1) – Цыганова А. В. (рис. 9).
Если мы проанализируем показатели публикаций уже с добавлением сторонних для СПбГУ авторов, работающих в сходной области, то увидим значительное улучшение показателей цитирования в ядерной физике, которая была далеко не основным направлением (рис. 7).
Наиболее наглядно это проявляется при сравнении визуальных представлений тех же самых данных, являющихся характерной и узнаваемой особенностью InCites – диаграмм, показывающих долю процитированных статей, и рисунков, показывающих положение статей по отношению к средним показателям по журналам, в которых они опубликованы, по области знаний и по тому, во сколько процентов самых цитируемых работ попадают работы авторов.
На приведенных ниже скриншотах InCites (рис. 11А и 11В) показаны визуальные представления приведенных выше в табличном виде данных о публикациях отдельного ученого (А) и группы ученых (В) по одной из областей знаний.
Представление сводной информации о публикациях конкретного автора в InCites
Представление сводной информации о публикациях группы авторов
Визуальные представления сведений о публикациях в InCites.
Такой анализ может оказаться крайне полезным при приглашении на работу в университет специалистов из других организаций, при подготовке заявок на гранты (например, при формировании заявок на гранты правительства для приглашения ведущих ученых в вузы и научные организации по Постановлению 220).
При выборе партнеров для сотрудничества также очень удобен раздел InCites Global Comparisons, когда надо сравнить показатели научной активности разных организаций или стран в целом и по отдельным областям знаний. Большая база данных по научным организациям разных стран позволяет это сделать с легкостью. При решении вопроса о стратегическом сотрудничестве с какими-либо организациями важно, чтобы это сотрудничество было взаимовыгодно, и при помощи сравнения не просто публикационной активности и цитирования, а визуального представления их расчетных относительных показателей можно определить, чем нам интересны конкретные организации и чем мы их можем заинтересовать со своей стороны.
Сравнение, например, общих показателей цитируемости СПбГУ и большинства зарубежных университетов, оказывается, как правило, не в нашу пользу (рис.12).
Однако, когда мы смотрим аналогичные показатели по областям знаний, рассчитанные уже с учетом среднемировых уровней цитируемости в конкретных научных направлениях, картина уже совсем другая: если нам, например, весьма выгодно сотрудничество с университетами Израиля в области биохимии, то мы им можем быть интересны в области экологии и окружающей среды (рис. 13).
Сравнение показателей цитирования статей СПбГУ и израильских университетов по отношению к среднемировому уровню.
A
B
Сравнение относительных показателей цитирования статей СПбГУ и израильских университетов в области экологии (А) и биологии и биохимии (В).
Новой особенностью InCites, появившейся летом 2011 года, является возможность отслеживать профили организаций, которые формируются в процессе составления рейтинга университетов Times Higher Education, составлением которого с 2009 года занимается компания Thomson Reuters. Эта опция дает возможность сравнения не только наукометрических показателей университетов, но и других важных для развития вузов параметров – уровня образовательной деятельности, интернационализации, финансирования, мнения академического сообщества и др.
В целом можно отметить следующие достоинства и недостатки использования описанных современных инструментов наукометрии:
Плюсы
— Отсутствие трудоемких расчетов
— Возможность легкого сравнения разных областей
— Возможность сравнения своей организации или страны с другими
— Возможность оценивать продуктивность научного сотрудничества
— Удобство использования для стратегического планирования
Минусы
— Основано в основном на зарубежных публикациях, практически не учтены российские журналы
— Нельзя опираться только на данные библиометрии без учета других результатов научной деятельности – например, патентов.
Итак, оба рассмотренных инструмента очень полезны для планирования и анализа научной деятельности как в организации, так и на уровне города или страны. Выбор аналитического инструмента зависит от поставленной цели – для стратегического планирования развития научной деятельности в организации и выбор направлений финансирования удобнее использовать SciVal Spotlight, для сравнения с другими конкретными организациями или отслеживания активности отдельных ученых, групп ученых или направлений наук – выбор в сторону InCites. Для всестороннего развития в сотрудничестве с мировым академическим сообществом оптимально использование комплекса аналитических инструментов.
Основным ограничением для оценки научной деятельности российских организаций с использованием возможностей SciVal или InCites является то, что значительная часть научных результатов российских ученых публикуется в российских журналах на русском языке, в связи с чем они просто не попадают в мировой научный оборот и, соответственно, не цитируются зарубежными учеными.
Такая ситуация характерна для многих неанглоязычных стран, в которых издается значительное количество научных журналов на родном языке. Можно даже обнаружить достаточно хорошую обратную корреляцию между средней цитируемостью статей страны в Essential Science Indicators и количеством научных журналов на национальном (не английском) языке.
В разных странах эта проблема решается по-разному: где-то, как в Голландии, просто все научные журналы начинают издавать только на английском языке. и они так или иначе становятся международными; где-то, как в Китае, создают новые журналы на английском. У нас сейчас ситуация такова, что в международные базы цитирования Web of Science и Scopus попадает лишь незначительная часть из издаваемых в России научных журналов в их переводных версиях.
В результате для мировой научной общественности доступна в лучшем случае четверть научных публикаций россиян.
Напомню, что в Указе президента РФ от 07.05.2012 № 599 «О мерах по реализации государственной политики в области образования и науки» предписано увеличение к 2015 году доли публикаций российских исследователей в общем количестве публикаций в мировых научных журналах, индексируемых в базе данных «Сеть науки» (WEB of Science), до 2,44 процента.
В соответствии с базами данных Web of Science и Scopus в настоящее время картина такая: доля публикаций Российской Федерации в общем числе публикаций составляет значительно меньший процент, при этом сохраняется устойчивая тенденция к снижению доли публикаций России в общемировом объеме публикаций за счет общего роста количества публикаций, особенно в таких странах как Бразилия, Индия и Китай, при относительном сохранении количества российских публикаций на одном и том же уровне.
Скриншоты из базы данных Web of Science.
В рейтинге публикационной активности стран Scimago Country Rankings Россия с 8-го места в 1996 году опустилась на 16-е место в 2010 году.
Диаграмма 1. Сравнение публикационной активности стран по Scimago Country Ranking.
Количество ежегодно публикуемых статей РФ остается все это время примерно на одном уровне, составляя примерно 10% от количества статей лидера рейтинга – США.
Диаграмма 2. Количество ежегодно публикуемых в мире статей по отношению к статьям из США.
При этом средняя цитируемость статей российских авторов самая низкая из всех стран рассматриваемой двадцатки лидеров.
Диаграмма 3. Средняя цитируемость одной статьи в странах первой двадцатки рейтинга Scimago.
По данным наукометрического инструмента InCites компании Thomson Reuters, доля российских публикаций в общем мировом объеме публикаций в 2010 году составляла 2,27%, притом что в 1980-е годы это значение превышало 5%.
Доля российских публикаций в общем мировом объеме публикаций.
Аналогичная картина наблюдается при анализе российских публикаций в Scopus, что можно увидеть на следующем рисунке, где для сравнения приведены прогнозные данные из проекта государственной программы «Развитие науки и технологий».
Диаграмма 4. Доля публикаций РФ в общем количестве публикаций в базе данных Scopus.
В связи с этим особое значение приобретают меры, направленные на улучшение как количественных, так и качественных показателей российских научных публикаций. Об этих мерах речь пойдет в следующей, заключительной лекции о наукометрии.