Ordem de qualidade em publicações da Computação

• Regra geral. Talvez a área de hardware seja levemente diferente.
• Maior qualidade significa que você pode confiar mais no resultado, que provavelmente os resultados são mais generalizáveis e podem ser repetidos.
  • Veículo
  • Citações
  • Idade
  • Tipo de pesquisa

Veículo

• Revistas científicas de alta qualidade (IEEE, ACM, Elsevier (maioria), Springer (maioria))
• Conferencias de qualidade (ACM, IEEE - mas nem todas!!, conferencias boas de uma area: AAAI, IJCAI, NeuroIPS)
• Revistas de qualidade média
• Conferencias nacionais e regionais
• Relatórios técnicos (arXiv) (com algum cuidado mas talvez acima de conferencias nacionais)
• Capítulos de livros
• Teses e dissertações

evite

• Revistas predatórias (a maioria é open access mas nem todas as open access são predatórias)
• Conferencias predatórias

Qualidade genérica de revistas

• Revistas são ordenadas pelo número de citações médias que seus artigos recebem nos primeiros 2 anos após a publicação. impact factor (IF)
• Citações são referências que um artigo faz a outros
• IF é calculado pela Web of Science (JCR) (que não é a melhor fonte para revistas em computação)
• A Scopus (Elsevier) computa algo parecido SJR
• Em computação IF de 4 a 8 são bem altos, mas depende da área
• Usualmente IF > 1 é considerado digno

Qualis (CAPES)

• Ordem de revistas e conferencias por área

• Baseada em IF, mas em outros fatores

• Há um qualis para conferências de computação

• Organizada por conjunto de especialistas da area

• A1 (melhor); A2; B1; B2; B3; B4; B5; C

• até B1 é considerado bom

• C é considerado negativo

• consulta de periodicos

• conferencias de computação

• há problemas (eu acho que serios) com o qualis de 2017 a 2020. Noticia - não sei ainda quais as consequencias disso para a avaliação em computação.

• informacoes da CPG do IC

Citações

• Quanto mais citações melhor
• Google Scholar, Scopus e Web of Science contam as citações de alguns artigos
• Os diferentes serviços usam diferentes conjuntos de artigos para contar as citações. Google Scholar é o mais completo

Idade

• Artigos mais recentes são provavelmente mais relevantes que os mais antigos
• Mas este critério entra em conflito com o de citações: artigos mais antigos tiveram mais tempo para acumular citações!
• Artigos novos com muitas citações são particularmente interessantes.

Tipo de pesquisa

Artigos reportam em diferentes tipos de pesquisa. Por ordem de qualidade/generabilidade:

• provas matemáticas (normalmente só para Teoria)
• meta-análises (resumem os resultados de vários artigos empíricos num só resultado)
• revisões sistemáticas (resumem os vários artigos mas não sintetizam em um só resultado) De vez em quando chamados de scoping review
  
• surveys (textos de especialistas que resume uma área de pesquisa)
• pesquisas empíricas quantitativas (fazem um experimento para medir várias alternativas)
• pesquisa empíricas qualitativas (fazem experimentos para observar um ou mais sistemas)
• pesquisa não empírica (propõem e/ou desenvolvem um sistema para resolver um problema)

Meta análises

• Resumem resultados de vários experimentos quantitativos num só resultado final.

• Usualmente para áreas que envolvem pessoas: engenharia de software, gerência de sistemas, informática em educação, informática em saúde

• Usam estatísticas mais elaboradas para “tirar a média” das medidas de vários experimentos.

• É muito importante que a seleção dos artigos/experimentos a serem agregados seja a mais objetiva e ampla o possível

  • Engenharia de software pair progamming
  • Informática em educação Jogos e simulações para o aprendizado

• há vários conceitos estatisticos interessantes. Por exemplo, na média voce não quer que um so experimento tenha muita influencia no resultado final.

  • o debate sobre meta analises para ivermicina uma versao set 2021 e um sumario em Junho 2022

Revisões sistemáticas (ou mapeamento sistemático)

• Pesquisa resume as várias vertentes de uma área de pesquisa, com resumos quantitativos.
• Diferente na meta-análise não “tira a média” dos resultados
• De novo, é importante que a seleção dos artigos/experimentos a serem agregados seja a mais objetiva e ampla o possível.
  • Informática em saúde apoio a decisão em medicina, outro e outro
  • Engenharia de software Testes de mutação
  • Informática em educação jogos em educação

Surveys

• Mapeamento de uma área por um especialista
• Ótimo para aprender sobre um assunto e obter outras referências
• Não há uma preocupação que a seleção de artigos referenciados seja objetiva e ampla
• Computing surveys

Ordem de qualidade em Ciência em geral

• Apenas revistas. Não há conferências na maioria das outras áreas
• Citações e idade: OK
• Tipo de pesquisa: OK. Não existe surveys nas outras áreas!
• Em medicina e nutrição não acredite em nada que só tenha uma pesquisa empírica publicada mesmo que em boa revista. Para seu consumo, busque as meta-análises: cirurgia de joelho e dieta mediterrânea
• Em medicina, verifique a biblioteca Cochrane

Serviços de bibliografia

• Google Scholar acesso aberto, completo, mas sem controle da ordem de resposta
• Scopus pago, acesso via Unicamp. Inclui boas revistas e boas conferencias de computação
• Web of Science pago, acesso da Unicamp. Inclui apenas boas revistas, padrão para contagem de citações (limitado para Computação)

Passos de uma busca bibliográfica

• Procure pelas palavras chaves (poucas!!) da sua pesquisa

  • no Scopus, restrinja para as áreas de computação/engenharia

• Encontre os artigos de maior qualidade (veículo, citações, tipo de pesquisa)

  • no Scopus ordene por citações e talvez restrinja por veículo

• Leia apenas o Abstract dos artigos para saber se eles parecem relevantes

• Para um artigo escolhido X

  • as referencias no artigo X podem ser úteis
  • mais importante são os artigos que fazem referencias para X
  • procure também nos “Related articles” Esses são artigos “parecidos” com X (baseado nas referencias que fazem) e podem ser muito úteis para encontrar outras famílias de artigos

• Selecione os artigos relevantes (de novo pelo Abstract)

• Só depois faça a primeira leitura do artigo completo - em particular as Conclusions,

  • na primeira leitura de um artigo você não precisa entender tudo, você pode pular partes. Não se atenha ao que você não sabe. Verifique apenas se é um artigo realmente importante
  • se for realmente importante (e só poucos serão nesse momento), faça a segunda (e terceira leitura).

• Para artigos importantes, verifique outros artigos do mesmo autor.

Exemplo no Scopus

• Na Unicamp eu prefiro usar o Scopus.

• Fora da unicamp, use a VPN para conectar na unicamp https://www.ccuec.unicamp.br/ccuec/servicos/acesso_remoto_vpn

• O Scopus inclui a maioria dos veículos de boa qualidade da computação e não inclui os veículos ruins. O Scholar inclui tudo.

• O Scopus permite controlar/limitar e ordenar a busca, e pode enviar as referencias marcadas via email