MC855 - Projeto em Sistemas de Computação
Segundo Semestre de 2015
Notas finais
Veja aqui as notas finais da disciplina. Boas festas e um excelente 2016!
Objetivos da disciplina
Veja os slides da aula introdutória e o
plano de desenvolvimento da disciplina.
Projeto 4
Análise mais detalhada de uma issue livre escolha em qualquer sistema do projeto Apache Hadoop. Um membro de cada grupo deverá registrar sua escolha em uma tarefa no Moodle e escolher uma data para apresentação na agenda.
Os slides e arquivos de código (se tiverem sido desenvolvidos) deverão ser colocados neste repositório
Entrega
- 12/nov (sala CC04): Definição da issue no lab
- 19/nov (sala CC04): Definição da issue no lab
- 24/nov (sala CB15): (nota * 1.1) Apresentação da issue para a turma
- 26/nov (sala CB15): (nota * 1.0) Apresentação da issue para a turma
Projeto 3
Pesquise em Issue Tracking
uma issue tipo umbrella para trabalhar. Procure issues em HDFS,
MAPREDUCE ou YARN. Uma issue umbrella é uma issue mais
abrangente, que precisa de vários passos para ser
concluída. Por exemplo: HDFS-1599
Umbrella Jira for Improving HBASE support in HDFS. Não é necessário ter a denominação umbrella no título. Um bom exemplo é a issue (já fechada) sobre alta disponibilidade do NameNode: HDFS-1623 High Availability Framework for HDFS NN.
Entrega
- 27/out (sala CC04): Definição da issue no lab
- 29/out (sala CC04): Definição da issue no lab
- 03/nov (sala CB15): (nota * 1.1) Apresentação da issue para a turma
- 05/nov (sala CB15): (nota * 1.0) Apresentação da issue para a turma
Projeto 2
Para começar, pesquise em Issue Tracking uma issue tipo bug para trabalhar. Procure issues em HDFS e MAPREDUCE.
- Qual tipo do bug?
- Quem reportou?
- Há quanto tempo está em aberto?
- Qual seria a sua estratégia para reproduzir o bug? E para corrigí-lo?
Entrega
Datas para a apresentação da issue e do plano de trabalho a ser seguido para a professora no lab CC04: 22/09, 24/09 e 29/09. Cada grupo deverá também registrar sua escolha em uma tarefa no Moodle.
Apresentação para a turma no CB15
- 01/10 (nota * 1.1)
- 06/10 (nota * 1.0)
Cada grupo deverá apresentar para a turma qual foi a issue escolhida e qual foi a contribuição feita (aumento do entedimento do problema, reprodução ou correção do bug).
Links interessantes:
Como executar o Hadoop a partir do código fonte.
A partir de uma versão específica
$ wget http://ftp.unicamp.br/pub/apache/hadoop/common/hadoop-2.7.1/hadoop-2.7.1-src.tar.gz
$ tar xzvf hadoop-2.7.1-src.tar.gz
$ cd hadoop-2-7.1-src
$ mvn clean package -Pdist -Dtar -DskipTests -Pnative
$ cd hadoop-dist/target/hadoop-2.7.1/
Caso o mvn não esteja funcionando corretamente, tente com:
$ mvn clean package -Pdist -Dtar -Dmaven.javadoc.skip=true -DskipTests -fail-at-end -Pnative
Fazendo um clone do repositório
$ git clone git://git.apache.org/hadoop.git
Se estiver em uma das máquinas do laboratório do IC pode usar:
$ git clone file:///home/staff/islene/public_html/hadoop
Para executar, siga um roteiro semelhante ao anterior:
$ cd hadoop
$ mvn package -Pdist -Pdoc -Psrc -Dtar -DskipTests
$ cd hadoop-dist/target/hadoop-3.0.0-SNAPSHOT
Projeto 1
- Forme seu grupo e registre no Moodle
Instruções
Entrega
Apresentação do código no lab CC04
- 25/08 (nota * 1.1)
- 27/08 (nota * 1.05)
- 01/09 (nota * 1.0)
Cada grupo deverá mostrar uma aplicação rodando, explicar seu funcionamento e a alteração.
Apresentação do tema no CB15
- 03/09 (nota * 1.1)
- 08/09 (nota * 1.0)
Cada grupo deverá explicar para a turma o funcionamento da aplicação e a alteração feita. Não é necessário mostrar o código rodando na hora. O grupo deve ter feito a apresentação no laboratório antes.
Moodle
Para o acompanhamento desta disciplina será aberta uma área no
Moodle fornecido pela Unicamp. Faça acesso MC855A+B com seu login e senha da DAC.
Calendário
Fique atento à lista abaixo para saber quais aulas serão nos
laboratórios e quando serã na sala CB15.
Introdução e MapReduce
- 11/ago (sala CB15): Introdução
- 13/ago (sala CB15): Aula sobre MapReduce
- 18/ago (labs CC02 e CC03): MapReduce no laboratório
- 20/ago (lab CC04): Desenvolvimento do projeto MapReduce
- 25/ago (lab CC04): Desenvolvimento do projeto MapReduce e primeira data de apresentação
- 27/ago (lab CC04): Desenvolvimento do projeto MapReduce e segunda data de apresentação
- 01/set (lab CC04): Desenvolvimento do projeto MapReduce e última data de apresentação
- 03/set (sala CB15): Primeira data de apresentação do tema MapReduce
- 08/set (sala CB15): Última data de apresentação do tema MapReduce
Issue tipo bug
- 10/set (sala CC04): Início da escolha da issue
- 15/set (sala CC04): Análise de issues tipo bug
- 17/set (sala CC04): Análise de issues tipo bug
- 22/set (sala CC04): Definição da issue no lab
- 24/set (sala CC04): Definição da issue no lab
- 29/set (sala CC04): Definição da issue no lab
- 01/out (sala CB15): Apresentação da issue para a turma
- 06/out (sala CB15): Apresentação da issue para a turma
Issue tipo umbrella
- 08/out (sala CC04): Início da escolha da issue tipo umbrella
- 13/out (sala CC04): Análise de issues tipo umbrella
- 15/out (sala CC04): Análise de issues tipo umbrella
- 20/out (sala CC04): Análise de issues tipo umbrella
- 22/out (sala CC04): Definição da issue no lab
- 27/out (sala CC04): Definição da issue no lab
- 29/out (sala CC04): Definição da issue no lab
- 03/nov (sala CB15): Apresentação da issue para a turma
- 05/nov (sala CB15): Apresentação da issue para a turma
Issue tipo livre escolha
- 10/nov (sala CC04): Análise de issues
- 12/nov (sala CC04): Definição da issue no lab
- 17/nov (sala CC04): Não haverá aula devido à realização do XXIII Congresso de Iniciação Científica da Unicamp
- 19/nov (sala CC04): Definição da issue no lab
- 24/nov (sala CB15): Apresentação da issue para a turma
- 26/nov (sala CB15): Apresentação da issue para a turma
Material