Ministério da Ciência, Tecnologia e Inovações

As informações quanto à produção científica originam-se de três fontes de informações: (i) a base denominada National Science Indicators (NSI), da Thomson Reuters Science (ii) o portal SCImago Journal & Country Rank, e; (iii) a base do Diretório dos Grupos de Pesquisa no Brasil.

A base National Science Indicators (NSI) contabiliza documentos indexados na base Web of Science (WoS), também da Thomson Reuters Science. A base Web of Science é amplamente reconhecida como uma das mais importantes, se não a mais importante base de informações referente à produção bibliográfica em âmbito internacional. Estão presentes na base todos os artigos e outros documentos passíveis de citação publicados em um conjunto de periódicos e eventos científicos que atendem a determinados critérios de visibilidade em suas respectivas áreas.

O portal SCImago Journal & Country Rank faz minucioso trabalho de apuração de indicadores bibliométricos a partir da base de dados Scopus, da Elsevier. Esta base possui uma ampla cobertura mundial, indexando anualmente mais documentos que a base Web of Science, sendo especialmente indicada para cobrir áreas do conhecimento não tão bem cobertos pela base da Thomson Reuters Science, como, por exemplo, a ciência da computação. O mecanismo de seleção de documentos para indexação é análogo ao adotado pela WoS.

A base do Diretório dos Grupos de Pesquisa no Brasil utiliza as informações oriundas do Currículo Lattes do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq). Diferente das demais bases, ela depende da atualização voluntária dos autores dos seus respectivos Curricula Lattes. Além disto, os resultados apresentam dupla contagem para trabalhos em co-autoria. Por outro lado, os seus dados são disponibilizados segundo vários tipos de produção bibliográfica, incluindo também a orientação de teses e a produção técnica.

A utilização de qualquer base de dados bibliográfica, para fins de avaliação da produção científica, i.e., para a produção de indicadores bibliométricos, está sujeita à compreensão das suas caraterísticas: seus mecanismos de formação, tipos de documento cobertos e critérios de seleção do universo indexado. Entre outras questões, é comum que diferentes áreas do conhecimento tenham coberturas diversas em cada uma das bases, em função das diferentes características das mesmas, bem como de diferentes práticas de publicação, Assim, a análise de dados apurados em fontes diversas pode ser útil na compreensão de diversos aspectos do universo analisado. Se, por um lado, a análise de dados oriundos das bases WoS e Scopus beneficia-se da sua seletividade e critérios razoavelmente consistentes, os dados do Diretório dos Grupos de Pesquisa no Brasil permitem um visão mais ampla da produção local.

Para as bases que trabalham com um conjunto definido de periódicos e eventos indexados, como a WoS e Scopus, é natural e desejável a atualização do conjunto indexado a fim de refletir mudanças no cenário científico mundial, a exemplo do surgimento de novas áreas e temas sob investigação. Tais mudanças não são consideradas como rupturas nas séries. No entanto, em 2008, foi incluído na base Web of Science um grande número de periódicos, notadamente aqueles com uma audiência regional, o que resultou em um abrupto crescimento do número de artigos brasileiros naquele ano. Embora a inclusão deste conjunto de fontes seja legítima, a sua concentração em um único ano faz com que análises de crescimento que cubram este movimento devam ser feitas tomando períodos mais amplos de tempo, ou seja, o crescimento percentual da produção brasileira apurado entre 2007 e 2008 não expressa o movimento real, porém o crescimento apurado entre 2000 e 2008, por exemplo, seria representativo da realidade.

São apresentados números relativos ao volume da produção (número de artigos, teses de doutorado, etc) e também o número de citações a artigos. 

O volume da produção está sujeito a variações em função do perfil da produção científica de país, das práticas e padrões de publicação de diferentes áreas e subáreas do conhecimento e de suas alterações ao longo do tempo. É importante ressaltar que o volume da produção quando observado em nível micro, não pode e não deve ser tomado como medida da avaliação da qualidade ou relevância do trabalho de um único pesquisador ou grupo de pesquisa. Em grandes agregados, no entanto, e na observação comparativa entre países e percentuais de participação, o seu acompanhamento pode revelar grandes tendências e movimentos, sempre se observando as idiossincrasias de cada base.

O número de citações a artigos pode ser tomado primeiramente como um indicador da visibilidade da produção de determinada unidade de análise (um país, uma instituição ou grupo de pesquisa). Pode ainda refletir a influência ou relevância da pesquisa desenvolvida. Em certa medida, o indicador aproxima o impacto do trabalho desenvolvido, sua utilidade e eventualmente a sua qualidade, ainda que nem sempre um trabalho seja citado em função das suas virtudes, mas em função das suas falhas. Assim como com indicadores centrados no volume de produção, o seu uso requer cuidados. Há um considerável atraso entre a publicação de um trabalho, a sua indexação e finalmente a indexação de trabalhos que o citam. Assim, o número esperado de citações a trabalhos recentes é menor que a trabalhos mais antigos, ainda que o número de trabalhos publicados ano a ano esteja em franco crescimento. Outros fenômenos que devem ser observados, sobretudo em microescala, são a ocorrência ou prevalência de autocitações em certas comunidades científicas e o fato de que artigos de valor utilitário, por exemplo, artigos que descrevem  ferramenta de software de grande utilidade a pesquisadores tendem a receber grandes quantidades de citações, muitas vezes às exigindo em caso de uso da ferramenta.