Instituto de Computação - UNICAMP

INF550 - Computação em Nuvem I

Experimento com Spark

Curso de Especialização em Redes de Computadores 2017

Islene Calciolari Garcia

Instalação do Spark

Na primeira parte do experimento, você deve instalar o Spark: 
  $ wget http://ftp.unicamp.br/pub/apache/spark/spark-2.1.1/spark-2.1.1-bin-hadoop2.7.tgz
  • Descompacte com 
      $ tar xzf spark-2.1.1-bin-hadoop2.7.tgz
    Utilize o pyspark em: 
     $ bin/pyspark

    Exercício para entrega:

    Utilizando o arquivo tcpdump.list fornecido pela DARPA elabore no mínimo três manipulações/consultas interessantes sobre os dados. Tenha em mente que você está pensando em detectar um ataque.

    Escreva um relatório contendo a motivação, o código das consultas e exemplos do resultado.

    O trabalho pode ser feito em duplas e entregue pelo Moodle.