Ordem de qualidade em publicações da Computação

Regra geral.Talvez a área de hardware seja levemente diferente.
Maior qualidade significa que você pode confiar mais no resultado, que provavelmente os resultados são mais generalizáveis e podem ser repetidos.
- Veículo
- Citações
- Idade
- Tipo de pesquisa

Veículo

Revistas científicas de alta qualidade (IEEE, ACM, Elsevier (maioria), Springer (maioria))
Conferencias de qualidade (ACM, IEEE - mas nem todas!!)
Revistas de qualidade média
Conferencias nacionais e regionais
Relatórios técnicos (arXiv) (com algum cuidado mas talvez acima de conferencias nacionais)
Capítulos de livros
Teses e dissertações

evite

Revistas predatórias (a maioria é open access mas nem todas as open access são predatórias)
Conferencias predatórias

Revistas são ordenadas por pelo número de citações médias que seus artigos recebem nos primeiros 2 anos após a publicação. impact factor
Citações são referências que um artigo faz a outros
IF é calculado pela Web of Science (JCR) (que não é a melhor fonte para revistas em computação)
A Scopus (Elsevier) computa algo parecido (SJR https://www.scimagojr.com/)
Em computação IF de 4 a 8 são bem altos, mas depende da área
Usualmente IF > 1 é considerado digno

Quanto mais citações melhor
Google Scholar, Scopus, Web of Science, e Microsoft Academic contam as citações de alguns artigos
Os diferentes serviços usam diferentes conjuntos de artigos para contar as citações. Google Scholar é o mais completo

Artigos mais recentes são provavelmente mais relevantes que os mais antigos
Mas este critério entra em conflito com o de citações: artigos mais antigos tiveram mais tempo para acumular citações!
Artigos novos com muitas citações são particularmente interessantes.

Artigos reportam em diferentes tipos de pesquisa. Por ordem de qualidade:

provas matemáticas (normalmente só para Teoria)
meta-análises (resumem os resultados de vários artigos empíricos num só resultado)
revisões sistemáticas (resumem os vários artigos mas não sintetizam em um só resultado)
surveys (textos de especialistas que resume uma área de pesquisa)
pesquisas empíricas quantitativas (fazem um experimento para medir várias alternativas)
pesquisa empíricas qualitativas (fazem experimentos para observar um ou mais sistemas)
pesquisa não empírica (propõem e/ou desenvolvem um sistema para resolver um problema)

Resumem resultados de vários experimentos quantitativos num só resultado final.
Usualmente para áreas que envolvem pessoas: engenharia de software, gerência de sistemas, informática em educação, informática em saúde
Usam estatísticas mais elaboradas para “tirar a média” das medidas de vários experimentos.
É muito importante que a seleção dos artigos/experimentos a serem agregados seja a mais objetiva e ampla o possível
- Engenharia de software pair progamming
- Informática em educação Jogos e simulações para o aprendizado

Pesquisa resume as várias vertentes de uma área de pesquisa, com resumos quantitativos.
Diferente na meta-análise não “tira a média” dos resultados
De novo, é importante que a seleção dos artigos/experimentos a serem agregados seja a mais objetiva e ampla o possível.
- Informática em saúde apoio a decisão em medicina, outro e outro
- Engenharia de software Análise estática de apps
- Informática em educação jogos em educação

Mapeamento de uma área por um especialista
Ótimo para aprender sobre um assunto e obter outras referências
Não há uma preocupação que a seleção de artigos referenciados seja objetiva e ampla
Computing surveys

Apenas revistas. Não há conferências na maioria das outras áreas
Citações e idade: OK
Tipo de pesquisa: OK. Não existe surveys nas outras áreas!
Em medicina e nutrição não acredite em nada que só tenha uma pesquisa empírica publicada mesmo que em boa revista. Para seu consumo, busque as meta-análises: cirurgia de joelho e dieta mediterrânea
Em medicina, verifique a biblioteca Cochrane

Google Scholar acesso aberto, completo, mas sem controle da ordem de resposta
Scopus pago, acesso via Unicamp. Inclui boas revistas e boas conferencias de computação
Web of Science pago, acesso da Unicamp. Inclui apenas boas revistas, padrão para contagem de citações (limitado para Computação)
Microsoft Academico

Procure pelas palavras chaves (poucas!!) da sua pesquisa
- no Scopus, restrinja para as áreas de computação/engenharia
Encontre os artigos de maior qualidade (veículo, citações, tipo de pesquisa)
- no Scopus ordene por citações e talvez restrinja por veículo
Leia apenas o Abstract dos artigos para saber se eles parecem relevantes
Para um artigo escolhido X
- as referencias no artigo X podem ser úteis
- mais importante são os artigos que fazem referencias para X
- procure também nos “Related articles” Esses são artigos “parecidos” com X (baseado nas referencias que fazem) e podem ser muito úteis para encontrar outras famílias de artigos
Selecione os artigos relevantes (de novo pelo Abstract)
Só depois faça a primeira leitura do artigo completo - em particular as Conclusions,
- na primeira leitura de um artigo você não precisa entender tudo, você pode pular partes. Não se atenha ao que você não sabe. Verifique apenas se é um artigo realmente importante
- se for realmente importante (e só poucos serão nesse momento), faça a segunda (e terceira leitura).
Para artigos importantes, verifique outros artigos do mesmo autor.

Na Unicamp eu prefiro usar o Scopus.
Ele inclui a maioria dos veículos de boa qualidade da computação e não inclui os veículos ruins. O Scholar inclui tudo.
O Scopus permite controlar/limitar e ordenar a busca, e pode enviar as referencias marcadas via email