MC855AB - Projeto em Sistemas de Computação
Segundo Semestre de 2017
Profa. Islene Calciolari Garcia
Critério de Avaliação
Veja os slides da aula introdutória e o
plano de desenvolvimento da disciplina.
Veja as notas finais!
MapReduce
Veja os slides da aula sobre
mapreduce e as instruções para o
primeiro experimento.
Spark
Se você escolheu Spark como tema para o segundo projeto, siga estas instruções.
Veja um artigo interessante que compara o desempenho entre Hadoop MapReduce e Spark:
- Clash of the titans: MapReduce vs. Spark for large scale data analytics, Juwei Shi, Yunjie Qiu, Umar Farooq Minhas, Limei Jiao, Chen Wang, Berthold Reinwald and Fatma Ozcan, Proceedings of the VLDB Endowment - Proceedings of the 41st International Conference on Very Large Data Bases, Kohala Coast, Hawaii, 2015.
Issue tipo bug
Para começar, pesquise em Issue Tracking uma issue tipo bug para trabalhar. Procure issues em HDFS, YARN, SPARK e MAPREDUCE.
- Qual tipo do bug?
- Quem reportou?
- Há quanto tempo está em aberto?
- Qual seria a sua estratégia para reproduzir o bug? E para corrigí-lo?
Issue tipo umbrella
Pesquise em Issue Tracking
uma issue tipo umbrella para trabalhar. Procure issues em HDFS,
MAPREDUCE, SPARK ou YARN. Uma issue umbrella é uma issue mais
abrangente, que precisa de vários passos para ser
concluída. Por exemplo: HDFS-1599
Umbrella Jira for Improving HBASE support in HDFS. Não é necessário ter a denominação umbrella no título. Um bom exemplo é a issue (já fechada) sobre alta disponibilidade do NameNode: HDFS-1623 High Availability Framework for HDFS NN.