Storm!

TDC 2013 SP

Created by Luan Cestari / G+/ Facebook/ @BR_LuanCestari

Luan = lambda nerd: nerd*nerd

^^^ Piadinhas vvv

Agenda

• Lambda Architecture
• Storm

Pontos-chave

• Low latency
• Computação Distribuída e Paralela

Lambda Architecture

Historinha...

O que acontece no desenvolvimento das aplicacoes cujo o uso é crescente

O que acontece [0]

O que acontece [1]

O que acontece [last]

O que deu errado:

• Complexidade cada vez maior no desenvolvimento
• Fault-tolerance e High-Avalability são duvidosas
• Muita dificuldade de escalabilidade e limitada

Case:Facebook

• +1 Billion users
• +240 Billion photos
• +1 Trillion connections
• 22% of references of the Internet
• 2012: 300 milhões de uploads de imagens por dia

O que é Lambda Architecture

Batch Layer

Service Layer

Speed Layer

Somando tudo!

Storm

Características

• Simple, Flexível e com suporte a diversas linguagens
• Possui Fault-tolerance
• Fácilmente escalável
• Garantia de processamento
• Transação
• Rápido/Low latency

Use cases

• Processamento Contínuo e sem burocracia
• Processamento Distribuído e Paralelismo

Evolução

• 09/2011 virou Open Source
• 12/2011 v0.6.0, agora usando Kryo
• 02/2012 v0.7.0, transactional topologies
• 08/2012 v0.8.0, LMAX Disruptor
• ??/2013 v0.9.0-wip17

O que mais ele usa

• ZeroMQ
• Zookeeper
• Thrift

Arquitetura

Modelo de desenvolvimento

Desenvolvimento

• Mutiplas linguagens
• Clojure
• Java
• Ruby (redstorm)
• LocalCluster e StormSubmitter

Demo

THE END

BY Luan Cestari

http://superseniordevelopers.blogspot.com.br/

Perguntas?

https://community.jboss.org/groups/jbug-brasil

Livros de ref.

Big Data = http://www.manning.com/marz/

Storm = http://shop.oreilly.com/product/0636920024835.do