HDFS E MAPREDUCE

Fonte: E-bookBigDataV2.pdf (Este arquivo é liberado depois de concluído o curso de Big Data) Aproveito a oportunidade para agradecer ao excelente trabalho no desenvolvimento do conteúdo deste E-book, recomendo fazerem o curso de Big Data para atualizarem-se.

Site: https://www.datascienceacademy.com.br

O hadoop está se tornando o padrão nos projetos de Big Data porque possui:

• Livre.

• Baixo custo.

• Tolerância a falhas a recuperação automática.

• Portabilidade entre hardware e sistemas operacionais heterogêneos.

• Escalabilidade para armazenar e processar grandes quantidades de dados.

• Confiabilidade, através da manutenção de várias cópias de dados, e, permite que os jobs sejam executados em paralelo e em caso de falhas de um job, outros não são afetados.

• Flexibilidade – processa todos os dados independente do tipo e formato, seja estruturado ou não-estruturado.

• Acessibilidade – suporte a diversas linguagens de programação como Java, C++, Python, Apache Pig.

Componentes Base do Hadoop: Hadoop HDFS + Hadoop MapReduce

Onde:

HDFS: Armazenamento distribuído. Foi desenvolvido utilizando o projeto do sistema de arquivos distribuídos (DFS). Ele é executado em hardware commodity (baixo custo). Ao contrário de outros sistemas distribuídos, HDFS é altamente tolerante a falha.

CARACTERÍSTICAS DO HDFS

• DFS (Distributed File System) - foi criado para gestão de armazenamento em uma rede de computadores.

• HDFS é otimizado para armazenar grandes arquivos.

• HDFS foi pensado para executar em clusters de computadores de baixo custo.

• HDFS foi pensado para ser ótimo em performance do tipo WORM (Write Once, Read Many Times), que é um eficiente padrão de processamento de dados.

• HDFS foi pensando considerando o tempo de leitura de um conjunto de dados inteiro e não apenas o primeiro registro.

COMO É CONFIGURADO O HADOOP

MapReduce: Computação distribuída

• MapReduce é um modelo de programação para processamento e geração de grandes conjuntos de dados.

• MapReduce transforma o problema de análise em um processo computacional que usa conjuntos de chaves e valores.

• MapReduce foi desenvolvido para tarefas que consomem minutos ou horas em computadores conectados em rede de alta velocidade gerenciados por um único master.

• MapReduce usa um tipo de análise de dados por força bruta. Todo o conjunto de dados é processado em cada query.

• MapReduce permite a execução de queries ad-hoc em todo o conjunto de dados em um tempo escalável.

• Muitos sistemas distribuídos combinam dados de múltiplas fontes (o que é bem complicado), mas MapReduce faz isso de forma eficiente e efetiva.

• O segredo da performance do MapReduce, está no balanceamento entre seeking e transfer: reduzir operações de seeking e usar de forma efetiva as operações de transfer.

Seek time – é o delay para encontrar um arquivo.

Transfer rate – é a velocidade para encontrar o arquivo. Transfer rates tem melhorado significativamente (é bem mais veloz que Seek times).

• O MapReduce é bom para atualizar todo (ou a maior parte) de um grande conjunto de dados.

• RDBMS (Relational Database Management System) são ótimos para atualizar pequenas porções de grandes bancos de dados.

• RDBMS utiliza o tradicional B-Tree, que é altamente dependente de operações de Seek.

• MapReduce utiliza operações de SORT e Merge para recriar o banco de dados, o que é mais dependente de operações de transfer.

O MapReduce se baseia em operações de transfer, o que deixa o acesso aos dados muito mais veloz.

COMO TRABALHA O MAPREDUCE

TIPOS DE DADOS

MapReduce é muito efetivo com dados semi ou não estruturados, porque MapReduce interpreta dados durante as sessões de processamento de dados. Ele não utiliza propriedades intrínsecas. Os parâmetros usados para selecionar os dados, são definidos pela pessoa que está fazendo a análise.

Informação Importante: Hadoop não é um banco de dados. Hadoop é um framework para armazenamento e processamento de grandes conjuntos de dados.

Depois de ler o artigo, responda a seguinte enquete.

Veja Também:
A teoria da relatividade e a Informática

Grato,
Jefferson Daminelli Garcia

GESTÃO DE RISCOS

IMPORTANTE:Este texto inicial está nos artigos sobre Gestão de Riscos, Gerenciamento de configuração de ativos de serviços, Gerenciamento de nível de acordo de serviços, Gerenciamento de mudanças e Lei Geral de proteção de dados, se você já leu vá para o terceiro parágrafo. Quando falamos de Governança de TI, sabemos que é preciso ter um caminho a seguir, e para que dê certo é preciso em primeiro lugar criar esta cultura dentro da empresa, para isto acontecer é preciso ter uma área responsável para isto, se a sua empresa não tiver, crie uma área que vai trabalhar somente com a governança de TI, crie um estatuto para esta área, inclua-a no organograma, tendo como pilares de sustentação para esta área:

1) As Conformidades, 

2) Gerenciamento de projetos,

3) Gerenciamento de processos, 

4) Gerenciamento de riscos,

5) Gerenciamento em segurança da informação,

6) PDTI. 

ORIENTAÇÕES GERAIS 

Tenha um framework que trabalhe bem as boas práticas, sugiro o ITIL(veja os links: definição, relacionamento do ITIL com o COBIT, como implantar ITIL), e outro próprio para a parte estratégica, sugiro o COBIT. Depois de criada a cultura, e todos os envolvidos entenderem para que é o ITIL (Serviços) e COBIT (Estratégia), verifique em que nível de maturidade a sua empresa encontra-se:

1 – Inexistente : Não há processos bem definidos.

2 – Inicial: Os processos estão na cabeça de uma só pessoa.

3 – Repetível: Existe um ou outro processo definido e várias pessoas sabem.

4 – Definido: Os processos foram mapeados, estão gravados e compartilhados na rede ou internet, mas não possui indicadores para começar o processo de melhoria.

5 – Gerenciável: Os indicadores estão definidos, começando a monitorar os indicadores.

6 – Otimizável: Os indicadores monitorados, trouxeram resultados que serão avaliados e melhorados.

Se a sua empresa estiver em um dos três níveis iniciais, comece com a implantação da cultura entre os colaboradores, depois disto a sequência supra citada virá naturalmente. Em paralelo ao citado acima comece uma gestão de mudanças,  gestão de nível de acordo de serviços, gestão de projetos, compartilhando com os lideres de área.

METODOLOGIA  PARA CONTROLE DE RISCOS 

Quando você for analisar riscos para aceitá-los, mitigá-los, prevení-los ou transferí-los, e conforme esta escolha que for definida, quais ações serão executadas para cumprir essa escolha, recomenda-se que seja escolhido o responsável para cumprir e melhorar continuamente a ação escolhida, com uma data definida para que esta ação ocorra, com um status de acompanhamento. Uma forma bem simples de criar e acompanhar esta sugestão é utilizando uma planilha,

GESTÃO DE RISCOS

A gestão de riscos define conceitos e trabalha o ambiente como um todo, levando em consideração o levantamento e identificação de riscos, através do conhecimento de ameaças, ativos, vulnerabilidades, probabilidade de ocorrência e impactos. Sugere-se a leitura da NBR ISO 27005, para melhor consolidar os estudos. Gestão de riscos pode parecer algo simples de fazer, desde que olhemos a TI composta por Hardware, Software, Pessoas, Infraestrutura bem organizada. Imaginem uma situação conforme mostrado nas imagens abaixo:

  FIGURA 1                                                       FIGURA 2

  

Figura 2: Fonte: https://www.google.com/search?q=icones+de+cabeamento+mal+feito&tbm=isch&source=iu&ictx=1&fir=J4FEQv0Bx1tYmM%253A%252Cxr3VoPU3iNpv8M%252C_&vet=1&usg=AI4_-kS46KfNUWabB7ub4X6iegsUqGKbGA&sa=X&ved=2ahUKEwiI58qkgpTjAhXWGbkGHfd1C7cQ9QEwAnoECAYQCA#imgdii=kcwm2zGy_UJ65M:&imgrc=J4FEQv0Bx1tYmM:&vet=1

A Figura 1 mostra uma parede com infiltração e visivelmente a tomada está sendo afetada, podendo ocorrer um curto circuito a qualquer hora causando um enorme estrago para a TI. Outro problema que pode estar ocorrendo é o comprometimento da parte elétrica em toda a fiação do imóvel gerando problemas como lentidão nos equipamentos, pois a infraestrutura pode estar toda ela comprometida, não fornecendo a energia elétrica suficiente para o adequado funcionamento de equipamentos de TI.

Solução: Manutenção Urgente do prédio, fazendo revisão e manutenção em toda a rede elétrica por profissionais competentes.

A Figura 2 mostra uma TI com um cabeamento sem nenhuma proteção, fora de canaletas, provavelmente sem controle de mudanças, onde qualquer pessoa pode acidentalmente ao mexer nos cabos gerar um "loop" na rede, e que pela situação de desorganização dificultará a identificação do loop.

Solução: Figuras 3, 4, 5.

Figura 3                                                                                              Figura 4

 

Figura 5

Figuras 3, 4, 5 - Fonte: https://www.google.com/search?q=icones+de+cabeamento+mal+feito&tbm=isch&source=iu&ictx=1&fir=J4FEQv0Bx1tYmM%253A%252Cxr3VoPU3iNpv8M%252C_&vet=1&usg=AI4_-kS46KfNUWabB7ub4X6iegsUqGKbGA&sa=X&ved=2ahUKEwjw1rqb85PjAhWhILkGHZXKAdQQ9QEwAXoECAYQBg#imgdii=4gEsr73e2Y-r_M:&imgrc=J4FEQv0Bx1tYmM:&vet=1

Se o cabeamento estruturado for feito por profissionais competentes, como mostra as Figuras 3 e 4, a TI com computadores organizados em Rack (Figura 5) será uma consequência natural.

Ao se estruturar de forma correta a sua  TI, seus projetos serão executados com segurança, o gerenciamento de configuração de ativos de serviços será mais controlado, O gerenciamento de mudanças será mais eficiente, o cumprimento do gerenciamento de nível de acordos de serviços será feito sem maiores problemas, o caminho para controlar melhor os serviços será executado sem perder a visão da regra do negócio, garantindo a confidencialidade das informações, conforme nos traz a Lei Geral de Proteção de Dados. 

Depois de ler o artigo, responda a seguinte enquete.

Grato,

Jefferson Daminelli Garcia

GERENCIAMENTO DE CONFIGURAÇÃO DE ATIVOS E SERVIÇOS

IMPORTANTE:Este texto inicial está nos artigos sobre Gestão de Riscos, Gerenciamento de configuração de ativos de serviços, Gerenciamento de nível de acordo de serviços, Gerenciamento de mudanças e Lei Geral de proteção de dados, se você já leu vá para o terceiro parágrafo. Quando falamos de Governança de TI, sabemos que é preciso ter um caminho a seguir, e para que dê certo é preciso em primeiro lugar criar esta cultura dentro da empresa, para isto acontecer é preciso ter uma área responsável para isto, se a sua empresa não tiver, crie uma área que vai trabalhar somente com a governança de TI, crie um estatuto para esta área, inclua-a no organograma, tendo como pilares de sustentação para esta área:

1) As Conformidades, 

2) Gerenciamento de projetos,

3) Gerenciamento de processos,

4) Gerenciamento de riscos,

5) Gerenciamento em segurança da informação,

6) PDTI. 

Tenha um framework que trabalhe bem as boas práticas, sugiro o ITIL(veja os links: definição, relacionamento do ITIL com o COBIT, como implantar ITIL), e outro próprio para a parte estratégica, sugiro o COBIT. Depois de criada a cultura, e todos os envolvidos entenderem para que é o ITIL (Serviços) e COBIT (Estratégia), verifique em que nível de maturidade a sua empresa encontra-se:

1 – Inexistente : Não há processos bem definidos.

2 – Inicial: Os processos estão na cabeça de uma só pessoa.

3 – Repetível: Existe um ou outro processo definido e várias pessoas sabem.

4 – Definido: Os processos foram mapeados, estão gravados e compartilhados na rede ou internet, mas não possui indicadores para começar o processo de melhoria.

5 – Gerenciável: Os indicadores estão definidos, começando a monitorar os indicadores.

6 – Otimizável: Os indicadores monitorados, trouxeram resultados que serão avaliados e melhorados.

Se a sua empresa estiver em um dos três níveis iniciais, comece com a implantação da cultura entre os colaboradores, depois disto a sequência supra citada virá naturalmente. Em paralelo ao citado acima comece uma gestão de mudanças,  gestão de nível de acordo de serviços, gestão de projetos, compartilhando com os lideres de área.

O gerenciamento de configuração de ativos de serviços, é um gerenciamento no ITIL dentro da transição de serviços, onde será feito o gerenciamento sobre todas as mudanças em Itens de Configuração (IC) Hardware, Software, procedimentos, políticas, documentações com o objetivo de reduzir impactos negativos, mantendo os serviços alinhados aos requisitos do negócio, mantendo um processo único e centralizado de aprovação, programação e controle de mudança, assegurando que os métodos padronizados estão sendo usados para o tratamento eficiente de todas as mudanças reduzindo riscos e impactos. Tendo o controle do que está sendo feito com a configuração de ativos e serviços, evita-se que alterações sejam feitas sem conhecimento da equipe, evitando que brechas sejam criadas, gerando vazamentos de informação. As alterações feitas devem seguir uma rotina de gerenciamento de mudanças, bem definidas, trazendo para os colaboradores segurança nos quesitos que a Lei Geral de Proteção de Dados, orienta.  A seguir um fluxo de como controlar uma alteração no IC.

MANTER CONFIGURAÇÃO

FIGURA 1

FIGURA 1: Fonte: http://www.trt18.jus.br/portal/tecnologia/portfolio-de-tic/processos-de-negocio-de-tic/gerenciamento-de-configuracao-e-ativo-de-servico/

Na Figura do fluxo, GERENCIAR MUDANÇAS E LIBERAÇÕES, o mesmo é centralizado.

Não esquecer que quando alteramos os ativos de serviços, estamos efetuando uma mudança, a qual tem seus passos a serem seguidos.

Depois de ler o artigo, responda a seguinte enquete.

Grato,

Jefferson Daminelli Garcia

Veja Também:

Governança de Dados