MC855A | |||||
RA | Proj1 | Proj2 | Proj3 | Proj4 | Nota |
120263 | 10.70 | 10.00 | 10.00 | 10.00 | 10.0 |
135214 | 10.00 | 10.00 | 10.00 | 0.00 | 7.5 |
135939 | 10.00 | 10.00 | 10.00 | 10.00 | 10.0 |
136008 | 10.00 | 10.00 | 9.65 | 10.00 | 9.9 |
136648 | 10.70 | 10.00 | 10.00 | 10.00 | 10.0 |
137019 | 10.00 | 10.00 | 9.65 | 10.00 | 9.9 |
138889 | 10.00 | 10.00 | 9.65 | 10.00 | 9.9 |
146021 | 10.00 | 9.65 | 9.65 | 3.00 | 8.1 |
150573 | 10.00 | 10.00 | 10.00 | 0.00 | 7.5 |
151238 | 10.00 | 9.65 | 9.65 | 3.00 | 8.1 |
154475 | 9.11 | 8.99 | 9.30 | 9.30 | 9.2 |
154502 | 10.00 | 10.00 | 10.00 | 10.00 | 10.0 |
154779 | 8.99 | 9.65 | 9.65 | 10.00 | 9.6 |
155124 | 10.00 | 10.00 | 10.00 | 10.00 | 10.0 |
155253 | 10.00 | 10.00 | 10.00 | 10.00 | 10.0 |
155419 | 10.00 | 10.00 | 10.00 | 10.00 | 10.0 |
155618 | 10.00 | 10.00 | 9.65 | 10.00 | 9.9 |
155981 | 10.00 | 10.00 | 10.00 | 10.00 | 10.0 |
155984 | 8.99 | 9.65 | 9.65 | 10.00 | 9.6 |
156188 | 8.99 | 9.65 | 9.65 | 10.00 | 9.6 |
156331 | 10.00 | 10.00 | 10.00 | 10.00 | 10.0 |
156475 | 10.00 | 10.00 | 10.00 | 10.00 | 10.0 |
156675 | 9.11 | 8.99 | 9.30 | 9.30 | 9.2 |
157055 | 10.00 | 10.00 | 10.00 | 10.00 | 10.0 |
157079 | 10.00 | 10.00 | 10.00 | 10.00 | 10.0 |
157209 | 10.00 | 10.00 | 10.00 | 10.00 | 10.0 |
157537 | 10.00 | 10.00 | 9.65 | 10.00 | 9.9 |
157888 | 10.00 | 10.00 | 10.00 | 10.00 | 10.0 |
157986 | 10.00 | 10.00 | 10.00 | 10.00 | 10.0 |
158044 | 9.11 | 8.99 | 9.30 | 9.30 | 9.2 |
MC855B | |||||
RA | Proj1 | Proj2 | Proj3 | Proj4 | Nota |
106289 | 0.00 | 0.00 | 0.00 | 0.00 | 0.0 |
106696 | 10.00 | 10.00 | 10.00 | 0.00 | 7.5 |
117205 | 0.00 | 0.00 | 0.00 | 0.00 | 0.0 |
118827 | 10.70 | 10.00 | 10.00 | 10.00 | 10.0 |
121192 | 8.15 | 7.41 | 8.99 | 9.30 | 8.5 |
135434 | 10.00 | 10.00 | 10.00 | 10.00 | 10.0 |
135663 | 10.00 | 10.00 | 10.00 | 10.00 | 10.0 |
137531 | 10.00 | 9.65 | 9.65 | 3.00 | 8.1 |
138507 | 10.00 | 10.00 | 10.00 | 10.00 | 10.0 |
139511 | 10.00 | 1.20 | 0.00 | 0.00 | 2.8 |
140765 | 10.00 | 10.00 | 9.65 | 10.00 | 9.9 |
141876 | 8.15 | 7.41 | 8.99 | 9.30 | 8.5 |
145767 | 10.00 | 9.65 | 9.65 | 3.00 | 8.1 |
146310 | 10.00 | 10.00 | 10.00 | 10.00 | 10.0 |
146328 | 10.00 | 10.00 | 10.00 | 0.00 | 7.5 |
147338 | 10.00 | 10.00 | 10.00 | 10.00 | 10.0 |
148077 | 10.00 | 10.00 | 10.00 | 10.00 | 10.0 |
150960 | 8.15 | 7.41 | 8.99 | 9.30 | 8.5 |
151196 | 8.99 | 9.65 | 9.30 | 9.30 | 9.3 |
155170 | 9.65 | 10.00 | 10.00 | 10.00 | 9.9 |
155616 | 9.65 | 10.00 | 10.00 | 10.00 | 9.9 |
156197 | 9.65 | 10.00 | 10.00 | 10.00 | 9.9 |
156740 | 10.00 | 10.00 | 10.00 | 10.00 | 10.0 |
158319 | 9.65 | 10.00 | 10.00 | 10.00 | 9.9 |
158498 | 10.00 | 10.00 | 10.00 | 10.00 | 10.0 |
160162 | 8.99 | 9.65 | 9.65 | 10.00 | 9.6 |
207820 | 10.70 | 10.00 | 10.00 | 10.00 | 10.0 |
Grupo | RA | Tema | Complexidade/ Originalidade |
Fase 1 | Fase 2 | Apresentação | Nota | Comentários |
1 | 150573 | Integração Hadoop, Docker e Spring | *** | 10 | 10 | 29/ago | 10.00 | Motivação: uso do Hadoop em ambientes corporativos. Testes com Docker e Spring. Comparação entre SQL e Hadoop. Aplicação com dados de campeonato de futebol americano. Repositório: https://github.com/orsiberton/MC855 |
135214 | 10 | 10 | 10.00 | |||||
146328 | 10 | 10 | 10.00 | |||||
2 | 118827 | Implementação do Common MidPoint utilizando Hadoop. | **** | 10 | 11 | 31/ago | 10.70 | Primeiros passos para obtenção de uma versão do algoritmo de imageamento sísmico Commom Midpoint utilizando MapReduce e Hadoop. Repositório: https://gitlab.com/tlgimenes/seismic-map-reduce |
207820 | 10 | 11 | 10.70 | |||||
136648 | 10 | 11 | 10.70 | |||||
120263 | 10 | 11 | 10.70 | |||||
3 | 139511 | Subtópicos do Reedit | ** | 10 | 10 | 31/ago | 10.00 | Coleta de dados do site reedit.com, com análise de subtópicos das entradas e posterior visualização utilizando Gephi e sigma.js |
158498 | 10 | 10 | 10.00 | |||||
4 | 135434 | Twitter e análise de temas polêmicos | ** | 10 | 10 | 31/ago | 10.00 | Sem slides... Apresentação detalhada do código e repositório com boa documentação. Uso de biblioteca para obter os dados do twitter, algoritmo naive bayes e treino. Execução do código durante a apresentação. Repositório: https://github.com/gbuenoandrade/MC855-2S2017-group4/tree/master/p1 |
135663 | 10 | 10 | 10.00 | |||||
135939 | 10 | 10 | 10.00 | |||||
5 | 156331 | Biblioteca HIPI (Hadoop Image Processing Interface) | *** | 10 | 10 | 29/ago | 10.00 | Processamento de imagens com Hadoop utilizando a biblioteca HIPI. Aplicação de três tipos de testes: média de pixels, matriz de covariância e borramento. |
156475 | 10 | 10 | 10.00 | |||||
157079 | 10 | 10 | 10.00 | |||||
157209 | 10 | 10 | 10.00 | |||||
6 | 157055 | Twitter e # Ambiente OpenStack Power | ** | 10 | 10 | 29/ago | 10.00 | Configuração de sistema master-slave no ambiente OpenStack. Coleta de dados do twitter e comparação com trend topics. Teste com seguidores do jogador Neymar. Utilização do código Enhanced Top-N. |
155253 | 10 | 10 | 10.00 | |||||
155981 | 10 | 10 | 10.00 | |||||
7 | 154502 | Correlação entre filmes | ** | 10 | 10 | 31/ago | 10.00 | Implementação baseada em notas fornecidas pelos usuários; execução de duas rodadas de mapreduce. Repositório: https://github.com/AlexandreMestre/HadoopMovieRating |
155124 | 10 | 10 | 10.00 | |||||
157888 | 10 | 10 | 10.00 | |||||
155419 | 10 | 10 | 10.00 | |||||
9 | 141876 | Gêneros mais comuns por ano e década. | * | 5 | 9.5 | 31/ago | 8.15 | Fase 1 entregue com atraso e incompleta. Utilização dos dados do The Movie DB. Utilização de streaming em Python para contar filmes por gênero e gênero mais bem avaliado por ano. |
121192 | 5 | 9.5 | 8.15 | |||||
150960 | 5 | 9.5 | 8.15 | |||||
10 | 155616 | Análise de dados de jogos de futebol americano | * | 10 | 9.5 | 31/ago | 9.65 | Dados da NFL (National Futebol League). MapReduce para encontrar time ganhador de cada temporada, time que ganhou mais temporadas e o maior perdedor. |
158319 | 10 | 9.5 | 9.65 | |||||
155170 | 10 | 9.5 | 9.65 | |||||
156197 | 10 | 9.5 | 9.65 | |||||
11 | 140765 | Filtro de SPAM utilizando MapReduce e Naive Bayes | ** | 10 | 10 | 31/ago | 10.00 | Base de dados com spams e hams. Explicação do naive bayes e aplicação da técnica após contagem de palavras via MapReduce com remoção de palavras comuns. Citaram técnicas para melhorar o desempenho. |
137019 | 10 | 10 | 10.00 | |||||
136008 | 10 | 10 | 10.00 | |||||
138889 | 10 | 10 | 10.00 | |||||
12 | 158044 | Ocorrência de palavras em letras de música e visualização via WordCloud | * | 10 | 8.73 | 05/set | 9.11 | Base de dados vagalume. Análise de letras de músicas dos estilos Forró, Sertanejo e MPB. Contagem de palavras com filtro de palavras comuns. Uso de WordCloud para visualização. Apresentação com atraso. Repositório: https://github.com/JTStark/MC855-2s2017 |
156675 | 10 | 8.73 | 9.11 | |||||
154475 | 10 | 8.73 | 9.11 | |||||
13 | 146021 | SecondarySort | ** | 10 | 10 | 29/ago | 10.00 | Explicação do método SecondarySort e enumeração de aplicações. Apresentação detalhada da aplicação da temperatura máxima. |
137531 | 10 | 10 | 10.00 | |||||
145767 | 10 | 10 | 10.00 | |||||
151238 | 10 | 10 | 10.00 | |||||
14 | 147338 | Índice reverso | ** | 10 | 10 | 31/ago | 10.00 | Explicação do conceito e obtenção dos índices reversos via MapReduce. Apresentação do método TF-IDF e das dificuldades para implementá-lo. |
146310 | 10 | 10 | 10.00 | |||||
15 | 151196 | Categorização de comentários | * | 10 | 8.55 | 05/set | 8.99 | Base de dados do Reddit. Visualização com WordCloud. Retirada de palavras com frequência alta para a base de dados estudada. Apresentação com atraso. |
16 | 138507 | Fully Distributed Operation | *** | 10 | 10 | 31/ago | 10.00 | Configuração do HDFS e YARN utilizando uma rede com notebooks do grupo. Teste de desempenho, com análise crítica dos resultados obtidos. |
157986 | 10 | 10 | 10.00 | |||||
156740 | 10 | 10 | 10.00 | |||||
148077 | 10 | 10 | 10.00 | |||||
17 | 154779 | Análise estatística sobre um dicionário | * | 10 | 8.55 | 05/set | 8.99 | Base de dados: dicionário utilizado para palavras cruzadas. Apresentação com atraso. |
160162 | 10 | 8.55 | 8.99 | |||||
155984 | 10 | 8.55 | 8.99 | |||||
156188 | 10 | 8.55 | 8.99 | |||||
18 | 157537 | Desenvolvimento de um web crawler | ** | 10 | 10 | 31/ago | 10.00 | Webcrawler específico para buscas de projetos do github relacionados a Python. Repositório: https://github.com/Guilhermeslucas/MC855-Distributed-Systems-Lab |
155618 | 10 | 10 | 10.00 | |||||
20 | 106696 | K-means | ** | 10 | 10 | 29/ago | 10.00 | Explicação do algoritmo K-means. Visualização da movimentação dos centróides. |
Grupo | RA | Tema | Complexidade/ Originalidade |
Fase 1 | Fase 2 | Apresentação | Nota | Comentários |
1 | 150573 | Integração Hadoop Spark e Docker | ** | 10 | 10 | 26/set | 10.00 | Comparação teórica Spark e Hadoop MapReduce. Testes de desempenho e análise crítica dos resultados. Repositório: https://github.com/orsiberton/MC855/tree/master/spark |
135214 | 10 | 10 | 10.00 | |||||
146328 | 10 | 10 | 10.00 | |||||
106696 | 10 | 10 | 10.00 | |||||
2 | 118827 | Implementação do Common MidPoint utilizando Hadoop. | **** | 10 | 10 | 26/set | 10.00 | Progressos para obtenção de uma versão do algoritmo de imageamento sísmico Commom Midpoint utilizando MapReduce e Hadoop. Repositório: https://gitlab.com/tlgimenes/seismic-map-reduce |
207820 | 10 | 10 | 10.00 | |||||
136648 | 10 | 10 | 10.00 | |||||
120263 | 10 | 10 | 10.00 | |||||
3 | 158498 | Transações Bitcoin | *** | 10 | 10 | 28/set | 10.00 | Explicação didática dos conceitos básicos sobre blockchain e Bitcoin. Utilização do Apache Spark para verifcação do número de transações executadas. Visualização dos dados até 2014. |
4 | 135434 | Twitter e Spark para analisar potencial onda conservadora | ** | 10 | 10 | 28/set | 10.00 | Utilizaram ambiente Databricks. Apresentação utilizando Notebook. |
135663 | 10 | 10 | 10.00 | |||||
135939 | 10 | 10 | 10.00 | |||||
5 | 156331 | PySpark para detecção de bordas e borramento de imagens | *** | 10 | 10 | 26/set | 10.00 | Explicação teórica dos métodos utilizados (convolução, filtro mediana, filtro Sobel). Comparação do PySpark e HIPI. |
156475 | 10 | 10 | 10.00 | |||||
157079 | 10 | 10 | 10.00 | |||||
157209 | 10 | 10 | 10.00 | |||||
6 | 157055 | Coleta de dados do Twitter e ambiente OpenStack Power | ** | 10 | 10 | 28/set | 10.00 | Uso da linguagem Scala. Coleta de dados dos seguidores do Neymar e Bruna Marquezine. Comparação com trend topics. |
155253 | 10 | 10 | 10.00 | |||||
155981 | 10 | 10 | 10.00 | |||||
7 | 154502 | Spark e Scikit-Learning | *** | 10 | 10 | 26/set | 10.00 | Duas bases de dados: carros e reconhecimento de letras. Comparação entre Spark e Scikit em termos de acurácia e desempenho. Repositório: https://github.com/Gabrielcb/SparkVSsklearn |
155124 | 10 | 10 | 10.00 | |||||
157888 | 10 | 10 | 10.00 | |||||
155419 | 10 | 10 | 10.00 | |||||
9 | 141876 | Machine Learning via Spark | * | 10 | 6.3 | 03/out | 7.41 | Não seguiram plano da fase 1. Projeto incompleto. Apresentação com atraso. |
121192 | 10 | 6.3 | 7.41 | |||||
150960 | 10 | 6.3 | 7.41 | |||||
10 | 155616 | Comparação Hadoop MapReduce e Spark | ** | 10 | 10 | 28/set | 10.00 | Aplicação: agrupamento de amigos. Base de dados gerada aleatoriamente. Testes com quantidades fixas de amigos por pessoa. Resultados de desempenho próximos. |
158319 | 10 | 10 | 10.00 | |||||
155170 | 10 | 10 | 10.00 | |||||
156197 | 10 | 10 | 10.00 | |||||
11 | 140765 | PageRank com Apache Spark | ** | 10 | 10 | 28/set | 10.00 | Explicação do algoritmo PageRank e sua aplicação em uma base de dados formada pelos personagens Marvel. Visualização utilizando Gephi. |
137019 | 10 | 10 | 10.00 | |||||
136008 | 10 | 10 | 10.00 | |||||
138889 | 10 | 10 | 10.00 | |||||
12 | 158044 | Mineração de dados - site de notícias | * | 10 | 8.55 | 03/out | 8.99 | Tentativa de implementar um pipeline utilizando machine learning. Apresentação com atraso. |
156675 | 10 | 8.55 | 8.99 | |||||
154475 | 10 | 8.55 | 8.99 | |||||
13 | 146021 | Palavras fora do dicionário | * | 10 | 9.5 | 26/set | 9.65 | Estudo das diferenças entre palavras existentes em um dicionário e contidas em uma base de dados. Solução eficiente incluindo dicionário na contagem. Análise de dados antigos e mais atuais. |
137531 | 10 | 9.5 | 9.65 | |||||
145767 | 10 | 9.5 | 9.65 | |||||
151238 | 10 | 9.5 | 9.65 | |||||
14 | 147338 | TF-IDF utilizando Spark | ** | 10 | 10 | 26/set | 10.00 | Reapresentação do método TF-IDF e descrição da implementação em Spark. Comparação dos resultados com 4 e 2 documentos. |
146310 | 10 | 10 | 10.00 | |||||
15 | 151196 | Categorização de comentários | * | 10 | 9.5 | 28/set | 9.65 | Reimplementação do projeto 1 em Spark, com a introdução de stopwords. Comparação Spark e Hadoop MapReduce. Base de dados reddit.com Visualização com WordCloud. |
16 | 138507 | Spark MLlib e League of Legends | ** | 10 | 10 | 26/set | 10.00 | Uso da biblioteca MLlib do Spark para prever ganhadores de partidas do jogo League of Legends. Repositório: https://github.com/henriquefacioli/mc855-proj2/blob/master/Projeto.ipynb |
157986 | 10 | 10 | 10.00 | |||||
156740 | 10 | 10 | 10.00 | |||||
148077 | 10 | 10 | 10.00 | |||||
17 | 154779 | Análise da página Spotted Unicamp 2.0 | * | 10 | 9.5 | 28/set | 9.65 | Comentários sobre Spark. Base de dados obtidos com Facepager. Análise do nome dos crushes mais famosos e da divisão entre homens e mulheres. Apresentação bem-humorada. |
160162 | 10 | 9.5 | 9.65 | |||||
155984 | 10 | 9.5 | 9.65 | |||||
156188 | 10 | 9.5 | 9.65 | |||||
18 | 157537 | Integração Spark e Machine Learning | ** | 10 | 10 | 28/set | 10.00 | Base de dados do Million song, com timbres e ano da música. Teste com Spark Mlib e comparação com Scipy. Repositório: https://github.com/Guilhermeslucas/MC855-Distributed-Systems-Lab/tree/master/Spark_Experiment |
155618 | 10 | 10 | 10.00 | |||||
19 | 139511 | 4 | 0 | --- | 1.20 | Iniciou buscas por issue tipo bug. Não apresentou. |
Grupo | RA | Issue | Complexidade/ Originalidade |
Fase 1 | Fase 2 | Apresentação | Nota | Comentários |
1 | 150573 | HADOOP-14157 - FsUrlStreamHandlerFactory "Illegal character in path" parsing file URL on Windows | *** | 10 | 10 | 31/out | 10.0 | Descrição do bug. Reprodução do erro e identificação de um teste falho no patch proposto. Proposta de solução e submissão de pull request. |
135214 | 10 | 10 | 10.0 | |||||
146328 | 10 | 10 | 10.0 | |||||
106696 | 10 | 10 | 10.0 | |||||
2 | 118827 | Implementação do Common MidPoint utilizando Hadoop. | **** | 10 | 10 | 31/out e 07/nov | 10.0 | Progressos para obtenção de uma versão do algoritmo de imageamento sísmico Commom Midpoint utilizando MapReduce e Hadoop. Apresentação de testes de desempenho. |
207820 | 10 | 10 | 10.0 | |||||
136648 | 10 | 10 | 10.0 | |||||
120263 | 10 | 10 | 10.0 | |||||
3 | 158498 | HDFS-11576 - Block recovery will fail indefinitely if recovery time > heartbeat interval | ** | 10 | 10 | 31/out | 10.0 | Descrição detalhada do processo de Lease Recovery e do patch para reproduzir o bug. Análise crítica da solução proposta pelo reporter. |
4 | 135434 | YARN-6650 ContainerTokenIdentifier is re-encoded during token verification | ** | 10 | 10 | 31/out | 10.0 | Introdução ao YARN. Descrição de possível bug que pode ocorrer após upgrades do sistema. Apresentação de trechos de código e estratégia para reprodução do bug. Análise da dificuldade para se implementar uma solução para o problema. |
135663 | 10 | 10 | 10.0 | |||||
135939 | 10 | 10 | 10.0 | |||||
5 | 156331 | SPARK-13691 Scala and Python generate inconsistent results | ** | 10 | 10 | 31/out | 10.0 | Descrição e testes de inconsistências no Spark entre as versões que utilizam Python e Scala. Apresentação de issues relacionadas e do método de lazy evaluation. |
156475 | 10 | 10 | 10.0 | |||||
157079 | 10 | 10 | 10.0 | |||||
157209 | 10 | 10 | 10.0 | |||||
6 | 157055 | SPARK-21177 df.saveAsTable slows down linearly, with number of appends | ** | 10 | 10 | 31/out | 10.0 | Descrição de issue com declaração no JIRA de várias pessoas que não conseguiram reproduzir o problema. Descrição da abordagem utilizada pelo grupo para reprodução do erro e análise dos dados coletados. |
155253 | 10 | 10 | 10.0 | |||||
155981 | 10 | 10 | 10.0 | |||||
7 | 154502 | SPARK-7379 pickle.loads expects a string instead of bytes in Python 3 | ** | 10 | 10 | 31/out | 10.0 | Grupo explorou problema de compatibilidade entre Python 2 e 3 relacionado ao uso da biblioteca pickle, reproduzindo o erro e testando soluções. |
155124 | 10 | 10 | 10.0 | |||||
157888 | 10 | 10 | 10.0 | |||||
155419 | 10 | 10 | 10.0 | |||||
9 | 141876 | HADOOP-9085 start namenode failure, because pid of namenode pid file is other process pid or thread id before start namenode | * | 10 | 8.55 | 07/nov | 9.0 | Descrição do problema relacionado à maneira como o Hadoop testa se o NameNode está rodando. Reprodução do bug e comentários sobre possíveis soluções descritas em issues relacionadas. Entrega com atraso. |
121192 | 10 | 8.55 | 9.0 | |||||
150960 | 10 | 8.55 | 9.0 | |||||
10 | 155616 | MAPREDUCE-3483 CapacityScheduler reserves container on same node as AM but can't ever use due to never enough avail memory MAPREDUCE-2917 Corner case in container reservations |
*** | 10 | 10 | 26/out | 10.0 | Introdução ao YARN. Descrição de uma issue em aberto e constatação que o problema estava relacionado a outro descrito em issue já resolvida. |
158319 | 10 | 10 | 10.0 | |||||
155170 | 10 | 10 | 10.0 | |||||
156197 | 10 | 10 | 10.0 | |||||
11 | 140765 | MAPREDUCE-6441 Improve temporary directory name generation in LocalDistributedCacheManager for concurrent processes | * | 10 | 9.5 | 31/out | 9.7 | Descrição de bug tecnicamente simples, mas de difícil reprodução. Tal característica impede que patch com correção seja incorporado ao código. |
137019 | 10 | 9.5 | 9.7 | |||||
136008 | 10 | 9.5 | 9.7 | |||||
138889 | 10 | 9.5 | 9.7 | |||||
12 | 158044 | MAPREDUCE-6417 MapReduceClient's primitives.h is toxic and should be extirpatedMAPREDUCE-6397 MAPREDUCE makes many endian-dependent assumptionsMAPREDUCE-6745 Job directories should be clean in staging directorg /tmp/hadoop-yarn/staging after MapReduce job finish successfully | ** | 10 | 9 | 07/nov | 9.3 | Descrição e estratégias para reprodução de três bugs. Entrega com atraso. |
156675 | 10 | 9 | 9.3 | |||||
154475 | 10 | 9 | 9.3 | |||||
13 | 146021 | HDFS-11160 VolumeScanner reports write-in-progress replicas as corrupt incorrectly | * | 10 | 9.5 | 26/out | 9.7 | Descrição do bug, estratégia de teste e de issues relacionadas. |
137531 | 10 | 9.5 | 9.7 | |||||
145767 | 10 | 9.5 | 9.7 | |||||
151238 | 10 | 9.5 | 9.7 | |||||
14 | 147338 | MAPREDUCE-6572 - Bad logging practices in mapreduce | ** | 10 | 10 | 31/out | 10.0 | Grupo comentou sobre boas práticas na geração de logs de maneira geral. Implementaram a correção de issue simples relacionada ao problema e submeteram pull request. |
146310 | 10 | 10 | 10.0 | |||||
15 | 151196 | HDFS-12243 Trash emptier should use Time.monotonicNow() | ** | 10 | 9 | 07/nov | 9.3 | Issue relacionada a outras issues já resolvidas. Correção foi implementada e foram executados alguns passos na direção de se enviar a contribuição. Entrega com atraso. |
16 | 138507 | SPARK-22195 Add cosine similarity to org.apache.spark.ml.linalg.Vectors | *** | 10 | 10 | 31/out | 10.0 | Implementação de nova funcionalidade para similaridade de cossenos. Nesta etapa, o grupo implementou a parte mais simples do código, relacionada a vetores densos. |
157986 | 10 | 10 | 10.0 | |||||
156740 | 10 | 10 | 10.0 | |||||
148077 | 10 | 10 | 10.0 | |||||
17 | 154779 | HDFS-7174 Support for more efficient large directories | * | 10 | 9.5 | 31/out | 9.7 | Resumo do funcionamento do HDFS, descrição do bug e das tentativas de reprodução do problema. |
160162 | 10 | 9.5 | 9.7 | |||||
155984 | 10 | 9.5 | 9.7 | |||||
156188 | 10 | 9.5 | 9.7 | |||||
18 | 157537 | SPARK-19628 Duplicate Spark jobs in 2.1.0 | * | 10 | 9.5 | 31/out | 9.7 | Descrição do bug e de seus impactos negativos no desempenho do sistema. Tentativa de reprodução do bug e contato com a comunidade com objetivos de obter mais dados. |
155618 | 10 | 9.5 | 9.7 | |||||
19 | 139511 | --- | 0.0 |
Grupo | RA | Issue | Complexidade/ Originalidade |
Fase 1 | Fase 2 | Apresentação | Nota | Comentários |
1 | 150573 | --- | 0.0 | |||||
135214 | 0.0 | |||||||
146328 | 0.0 | |||||||
106696 | 0.0 | |||||||
2 | 118827 | Uso de GPU em Sistemas Distribuídos focado em Hadoop | **** | 10 | 10 | 23/nov | 10.0 | Análise de três artigos científicos sobre desempenho de computações em GPUs. Reflexões sobre falhas e possíveis melhorias para o código apresentado nas fases anteriores. |
207820 | 10 | 10 | 10.0 | |||||
136648 | 10 | 10 | 10.0 | |||||
120263 | 10 | 10 | 10.0 | |||||
3 | 158498 | HDFS-7877 Support maintenance state for datanodes | ** | 10 | 10 | 30/11 | 10.0 | Descrição da importância do estado de manutenção dos datanodes. Issue com várias subtasks e documento com especificação. |
4 | 135434 | YARN-4945 Capacity Scheduler Preemption Within a queue | *** | 10 | 10 | 05/12 (justificaram falta) | 10.0 | Descrição de políticas para preempção de tarefas dentro de uma mesma fila no Capacity Scheduler. Documento descritivo disponível na issue e usado como base é pouco claro. :-( |
135663 | 10 | 10 | 10.0 | |||||
135939 | 10 | 10 | 10.0 | |||||
5 | 156331 | SPARK-9953: ML Vector, Matrix semantic equality + hashcode | ** | 10 | 10 | 28/11 | 10.0 | Introdução sobre igualdade semântica e boas práticas para implementação de cmp, eq e hash. Análise detalhada das sub-tasks e dos pull request submetidos. |
156475 | 10 | 10 | 10.0 | |||||
157079 | 10 | 10 | 10.0 | |||||
157209 | 10 | 10 | 10.0 | |||||
6 | 157055 | HDFS-7947 Fix HDFS unit test failures on Windows | ** | 10 | 10 | 30/11 | 10.0 | Apresentação de falhas do HDFS quando executado em Windows. Descrição de subtasks fechadas e uma em aberto. |
155253 | 10 | 10 | 10.0 | |||||
155981 | 10 | 10 | 10.0 | |||||
7 | 154502 | SPARK-17133 Improvements to linear methods in Spark | ** | 10 | 10 | 28/11 | 10.0 | Visão em alto nível das subtasks e análise dos pull requests. |
155124 | 10 | 10 | 10.0 | |||||
157888 | 10 | 10 | 10.0 | |||||
155419 | 10 | 10 | 10.0 | |||||
9 | 141876 | HADOOP-12177 [Umbrella] Update and extend filesystem specification | * | 10 | 9 | 05/12 | 9.3 | Descrição em alto nível de várias melhorias para o HDFS. Apresentação com atraso. |
121192 | 10 | 9 | 9.3 | |||||
150960 | 10 | 9 | 9.3 | |||||
10 | 155616 | SPARK-20746 Built-in SQL Function Improvement | ** | 10 | 10 | 30/11 | 10.0 | Descrição detalhada e comparativa das sub-tasks que compõem a umbrella. |
158319 | 10 | 10 | 10.0 | |||||
155170 | 10 | 10 | 10.0 | |||||
156197 | 10 | 10 | 10.0 | |||||
11 | 140765 | HDFS-4258 Rename of Being Written Files | ** | 10 | 10 | 30/11 | 10.0 | Descrição de um bug cuja solução envolvia uma umbrella issue destinada a implementação de InodeIDs. |
137019 | 10 | 10 | 10.0 | |||||
136008 | 10 | 10 | 10.0 | |||||
138889 | 10 | 10 | 10.0 | |||||
12 | 158044 | HADOOP-14238 [Umbrella] Rechecking Guava's object is not exposed to user-facing APISPARK-21084 Improvements to dynamic allocation for notebook use cases | ** | 10 | 9 | 05/12 | 9.3 | Explicação detalhada das duas issues. Entrega com atraso. |
156675 | 10 | 9 | 9.3 | |||||
154475 | 10 | 9 | 9.3 | |||||
13 | 146021 | SPARK-14220 Build and test Spark against scala 2.12 | 10 | 0 | --- | 3.0 | Escolheram issue, mas não apresentaram... :-( | |
137531 | 10 | 0 | 3.0 | |||||
145767 | 10 | 0 | 3.0 | |||||
151238 | 10 | 0 | 3.0 | |||||
14 | 147338 | SPARK-18278 SPIP: Support native submission of spark jobs to a kubernetes cluster | ** | 10 | 10 | 28/11 | 10.0 | Descrição detalhada do projeto Kubernetes. Testes com Spark. |
146310 | 10 | 10 | 10.0 | |||||
15 | 151196 | HDFS-8048 Umbrella jira for moving HDFS client implementation to a packageHDFS-9924 [umbrella] Nonblocking HDFS Access | ** | 10 | 9 | 05/12 | 9.3 | Análise de duas issues, de complexidade diferentes. Apresentação com atraso. |
16 | 138507 | SPARK-22195 Add cosine similarity to org.apache.spark.ml.linalg.Vectors | *** | 10 | 10 | 28/11 | 10.0 | Progressos na implementação da similaridade entre cossenos, incluindo a parte do código referente a vetores esparsos. |
157986 | 10 | 10 | 10.0 | |||||
156740 | 10 | 10 | 10.0 | |||||
148077 | 10 | 10 | 10.0 | |||||
17 | 154779 | SPARK-22510 Exceptions caused by 64KB JVM bytecode or 64K constant pool entry limit | ** | 10 | 10 | 30/11 | 10.0 | Alteraram issue escolhida na fase 1. Reprodução do bug. Acompanharam evolução da issue pela comunidade durante a execução do projeto. |
160162 | 10 | 10 | 10.0 | |||||
155984 | 10 | 10 | 10.0 | |||||
156188 | 10 | 10 | 10.0 | |||||
18 | 157537 | HBASE-14918 In-Memory MemStore Flush and Compaction | *** | 10 | 10 | 30/11 | 10.0 | Análise de vantagens, desvantagens e complexidade das subtarefas. |
155618 | 10 | 10 | 10.0 | |||||
19 | 139511 | --- | 0.0 |