HDFS E MAPREDUCE

Fonte: E-bookBigDataV2.pdf (Este arquivo é liberado depois de concluído o curso de Big Data) Aproveito a oportunidade para agradecer ao excelente trabalho no desenvolvimento do conteúdo deste E-book, recomendo fazerem o curso de Big Data para atualizarem-se.

Site: https://www.datascienceacademy.com.br

O hadoop está se tornando o padrão nos projetos de Big Data porque possui:

• Livre.

• Baixo custo.

• Tolerância a falhas a recuperação automática.

• Portabilidade entre hardware e sistemas operacionais heterogêneos.

• Escalabilidade para armazenar e processar grandes quantidades de dados.

• Confiabilidade, através da manutenção de várias cópias de dados, e, permite que os jobs sejam executados em paralelo e em caso de falhas de um job, outros não são afetados.

• Flexibilidade – processa todos os dados independente do tipo e formato, seja estruturado ou não-estruturado.

• Acessibilidade – suporte a diversas linguagens de programação como Java, C++, Python, Apache Pig.

Componentes Base do Hadoop: Hadoop HDFS + Hadoop MapReduce

Onde:

HDFS: Armazenamento distribuído. Foi desenvolvido utilizando o projeto do sistema de arquivos distribuídos (DFS). Ele é executado em hardware commodity (baixo custo). Ao contrário de outros sistemas distribuídos, HDFS é altamente tolerante a falha.

CARACTERÍSTICAS DO HDFS

• DFS (Distributed File System) - foi criado para gestão de armazenamento em uma rede de computadores.

• HDFS é otimizado para armazenar grandes arquivos.

• HDFS foi pensado para executar em clusters de computadores de baixo custo.

• HDFS foi pensado para ser ótimo em performance do tipo WORM (Write Once, Read Many Times), que é um eficiente padrão de processamento de dados.

• HDFS foi pensando considerando o tempo de leitura de um conjunto de dados inteiro e não apenas o primeiro registro.

COMO É CONFIGURADO O HADOOP

MapReduce: Computação distribuída

• MapReduce é um modelo de programação para processamento e geração de grandes conjuntos de dados.

• MapReduce transforma o problema de análise em um processo computacional que usa conjuntos de chaves e valores.

• MapReduce foi desenvolvido para tarefas que consomem minutos ou horas em computadores conectados em rede de alta velocidade gerenciados por um único master.

• MapReduce usa um tipo de análise de dados por força bruta. Todo o conjunto de dados é processado em cada query.

• MapReduce permite a execução de queries ad-hoc em todo o conjunto de dados em um tempo escalável.

• Muitos sistemas distribuídos combinam dados de múltiplas fontes (o que é bem complicado), mas MapReduce faz isso de forma eficiente e efetiva.

• O segredo da performance do MapReduce, está no balanceamento entre seeking e transfer: reduzir operações de seeking e usar de forma efetiva as operações de transfer.

Seek time – é o delay para encontrar um arquivo.

Transfer rate – é a velocidade para encontrar o arquivo. Transfer rates tem melhorado significativamente (é bem mais veloz que Seek times).

• O MapReduce é bom para atualizar todo (ou a maior parte) de um grande conjunto de dados.

• RDBMS (Relational Database Management System) são ótimos para atualizar pequenas porções de grandes bancos de dados.

• RDBMS utiliza o tradicional B-Tree, que é altamente dependente de operações de Seek.

• MapReduce utiliza operações de SORT e Merge para recriar o banco de dados, o que é mais dependente de operações de transfer.

O MapReduce se baseia em operações de transfer, o que deixa o acesso aos dados muito mais veloz.

COMO TRABALHA O MAPREDUCE

TIPOS DE DADOS

MapReduce é muito efetivo com dados semi ou não estruturados, porque MapReduce interpreta dados durante as sessões de processamento de dados. Ele não utiliza propriedades intrínsecas. Os parâmetros usados para selecionar os dados, são definidos pela pessoa que está fazendo a análise.

Informação Importante: Hadoop não é um banco de dados. Hadoop é um framework para armazenamento e processamento de grandes conjuntos de dados.

Depois de ler o artigo, responda a seguinte enquete.

Veja Também:
A teoria da relatividade e a Informática

Grato,
Jefferson Daminelli Garcia

GESTÃO DE RISCOS

IMPORTANTE:Este texto inicial está nos artigos sobre Gestão de Riscos, Gerenciamento de configuração de ativos de serviços, Gerenciamento de nível de acordo de serviços, Gerenciamento de mudanças e Lei Geral de proteção de dados, se você já leu vá para o terceiro parágrafo. Quando falamos de Governança de TI, sabemos que é preciso ter um caminho a seguir, e para que dê certo é preciso em primeiro lugar criar esta cultura dentro da empresa, para isto acontecer é preciso ter uma área responsável para isto, se a sua empresa não tiver, crie uma área que vai trabalhar somente com a governança de TI, crie um estatuto para esta área, inclua-a no organograma, tendo como pilares de sustentação para esta área:

1) As Conformidades, 

2) Gerenciamento de projetos,

3) Gerenciamento de processos, 

4) Gerenciamento de riscos,

5) Gerenciamento em segurança da informação,

6) PDTI. 

ORIENTAÇÕES GERAIS 

Tenha um framework que trabalhe bem as boas práticas, sugiro o ITIL(veja os links: definição, relacionamento do ITIL com o COBIT, como implantar ITIL), e outro próprio para a parte estratégica, sugiro o COBIT. Depois de criada a cultura, e todos os envolvidos entenderem para que é o ITIL (Serviços) e COBIT (Estratégia), verifique em que nível de maturidade a sua empresa encontra-se:

1 – Inexistente : Não há processos bem definidos.

2 – Inicial: Os processos estão na cabeça de uma só pessoa.

3 – Repetível: Existe um ou outro processo definido e várias pessoas sabem.

4 – Definido: Os processos foram mapeados, estão gravados e compartilhados na rede ou internet, mas não possui indicadores para começar o processo de melhoria.

5 – Gerenciável: Os indicadores estão definidos, começando a monitorar os indicadores.

6 – Otimizável: Os indicadores monitorados, trouxeram resultados que serão avaliados e melhorados.

Se a sua empresa estiver em um dos três níveis iniciais, comece com a implantação da cultura entre os colaboradores, depois disto a sequência supra citada virá naturalmente. Em paralelo ao citado acima comece uma gestão de mudanças,  gestão de nível de acordo de serviços, gestão de projetos, compartilhando com os lideres de área.

METODOLOGIA  PARA CONTROLE DE RISCOS 

Quando você for analisar riscos para aceitá-los, mitigá-los, prevení-los ou transferí-los, e conforme esta escolha que for definida, quais ações serão executadas para cumprir essa escolha, recomenda-se que seja escolhido o responsável para cumprir e melhorar continuamente a ação escolhida, com uma data definida para que esta ação ocorra, com um status de acompanhamento. Uma forma bem simples de criar e acompanhar esta sugestão é utilizando uma planilha,

GESTÃO DE RISCOS

A gestão de riscos define conceitos e trabalha o ambiente como um todo, levando em consideração o levantamento e identificação de riscos, através do conhecimento de ameaças, ativos, vulnerabilidades, probabilidade de ocorrência e impactos. Sugere-se a leitura da NBR ISO 27005, para melhor consolidar os estudos. Gestão de riscos pode parecer algo simples de fazer, desde que olhemos a TI composta por Hardware, Software, Pessoas, Infraestrutura bem organizada. Imaginem uma situação conforme mostrado nas imagens abaixo:

  FIGURA 1                                                       FIGURA 2

  

Figura 2: Fonte: https://www.google.com/search?q=icones+de+cabeamento+mal+feito&tbm=isch&source=iu&ictx=1&fir=J4FEQv0Bx1tYmM%253A%252Cxr3VoPU3iNpv8M%252C_&vet=1&usg=AI4_-kS46KfNUWabB7ub4X6iegsUqGKbGA&sa=X&ved=2ahUKEwiI58qkgpTjAhXWGbkGHfd1C7cQ9QEwAnoECAYQCA#imgdii=kcwm2zGy_UJ65M:&imgrc=J4FEQv0Bx1tYmM:&vet=1

A Figura 1 mostra uma parede com infiltração e visivelmente a tomada está sendo afetada, podendo ocorrer um curto circuito a qualquer hora causando um enorme estrago para a TI. Outro problema que pode estar ocorrendo é o comprometimento da parte elétrica em toda a fiação do imóvel gerando problemas como lentidão nos equipamentos, pois a infraestrutura pode estar toda ela comprometida, não fornecendo a energia elétrica suficiente para o adequado funcionamento de equipamentos de TI.

Solução: Manutenção Urgente do prédio, fazendo revisão e manutenção em toda a rede elétrica por profissionais competentes.

A Figura 2 mostra uma TI com um cabeamento sem nenhuma proteção, fora de canaletas, provavelmente sem controle de mudanças, onde qualquer pessoa pode acidentalmente ao mexer nos cabos gerar um "loop" na rede, e que pela situação de desorganização dificultará a identificação do loop.

Solução: Figuras 3, 4, 5.

Figura 3                                                                                              Figura 4

 

Figura 5

Figuras 3, 4, 5 - Fonte: https://www.google.com/search?q=icones+de+cabeamento+mal+feito&tbm=isch&source=iu&ictx=1&fir=J4FEQv0Bx1tYmM%253A%252Cxr3VoPU3iNpv8M%252C_&vet=1&usg=AI4_-kS46KfNUWabB7ub4X6iegsUqGKbGA&sa=X&ved=2ahUKEwjw1rqb85PjAhWhILkGHZXKAdQQ9QEwAXoECAYQBg#imgdii=4gEsr73e2Y-r_M:&imgrc=J4FEQv0Bx1tYmM:&vet=1

Se o cabeamento estruturado for feito por profissionais competentes, como mostra as Figuras 3 e 4, a TI com computadores organizados em Rack (Figura 5) será uma consequência natural.

Ao se estruturar de forma correta a sua  TI, seus projetos serão executados com segurança, o gerenciamento de configuração de ativos de serviços será mais controlado, O gerenciamento de mudanças será mais eficiente, o cumprimento do gerenciamento de nível de acordos de serviços será feito sem maiores problemas, o caminho para controlar melhor os serviços será executado sem perder a visão da regra do negócio, garantindo a confidencialidade das informações, conforme nos traz a Lei Geral de Proteção de Dados. 

Depois de ler o artigo, responda a seguinte enquete.

Grato,

Jefferson Daminelli Garcia

GERENCIAMENTO DE CONFIGURAÇÃO DE ATIVOS E SERVIÇOS

IMPORTANTE:Este texto inicial está nos artigos sobre Gestão de Riscos, Gerenciamento de configuração de ativos de serviços, Gerenciamento de nível de acordo de serviços, Gerenciamento de mudanças e Lei Geral de proteção de dados, se você já leu vá para o terceiro parágrafo. Quando falamos de Governança de TI, sabemos que é preciso ter um caminho a seguir, e para que dê certo é preciso em primeiro lugar criar esta cultura dentro da empresa, para isto acontecer é preciso ter uma área responsável para isto, se a sua empresa não tiver, crie uma área que vai trabalhar somente com a governança de TI, crie um estatuto para esta área, inclua-a no organograma, tendo como pilares de sustentação para esta área:

1) As Conformidades, 

2) Gerenciamento de projetos,

3) Gerenciamento de processos,

4) Gerenciamento de riscos,

5) Gerenciamento em segurança da informação,

6) PDTI. 

Tenha um framework que trabalhe bem as boas práticas, sugiro o ITIL(veja os links: definição, relacionamento do ITIL com o COBIT, como implantar ITIL), e outro próprio para a parte estratégica, sugiro o COBIT. Depois de criada a cultura, e todos os envolvidos entenderem para que é o ITIL (Serviços) e COBIT (Estratégia), verifique em que nível de maturidade a sua empresa encontra-se:

1 – Inexistente : Não há processos bem definidos.

2 – Inicial: Os processos estão na cabeça de uma só pessoa.

3 – Repetível: Existe um ou outro processo definido e várias pessoas sabem.

4 – Definido: Os processos foram mapeados, estão gravados e compartilhados na rede ou internet, mas não possui indicadores para começar o processo de melhoria.

5 – Gerenciável: Os indicadores estão definidos, começando a monitorar os indicadores.

6 – Otimizável: Os indicadores monitorados, trouxeram resultados que serão avaliados e melhorados.

Se a sua empresa estiver em um dos três níveis iniciais, comece com a implantação da cultura entre os colaboradores, depois disto a sequência supra citada virá naturalmente. Em paralelo ao citado acima comece uma gestão de mudanças,  gestão de nível de acordo de serviços, gestão de projetos, compartilhando com os lideres de área.

O gerenciamento de configuração de ativos de serviços, é um gerenciamento no ITIL dentro da transição de serviços, onde será feito o gerenciamento sobre todas as mudanças em Itens de Configuração (IC) Hardware, Software, procedimentos, políticas, documentações com o objetivo de reduzir impactos negativos, mantendo os serviços alinhados aos requisitos do negócio, mantendo um processo único e centralizado de aprovação, programação e controle de mudança, assegurando que os métodos padronizados estão sendo usados para o tratamento eficiente de todas as mudanças reduzindo riscos e impactos. Tendo o controle do que está sendo feito com a configuração de ativos e serviços, evita-se que alterações sejam feitas sem conhecimento da equipe, evitando que brechas sejam criadas, gerando vazamentos de informação. As alterações feitas devem seguir uma rotina de gerenciamento de mudanças, bem definidas, trazendo para os colaboradores segurança nos quesitos que a Lei Geral de Proteção de Dados, orienta.  A seguir um fluxo de como controlar uma alteração no IC.

MANTER CONFIGURAÇÃO

FIGURA 1

FIGURA 1: Fonte: http://www.trt18.jus.br/portal/tecnologia/portfolio-de-tic/processos-de-negocio-de-tic/gerenciamento-de-configuracao-e-ativo-de-servico/

Na Figura do fluxo, GERENCIAR MUDANÇAS E LIBERAÇÕES, o mesmo é centralizado.

Não esquecer que quando alteramos os ativos de serviços, estamos efetuando uma mudança, a qual tem seus passos a serem seguidos.

Depois de ler o artigo, responda a seguinte enquete.

Grato,

Jefferson Daminelli Garcia

Veja Também:

Governança de Dados

GERENCIAMENTO DE NIVEL DE ACORDO DE SERVIÇOS

IMPORTANTE:Este texto inicial está nos artigos sobre Gestão de Riscos, Gerenciamento de configuração de ativos de serviços, Gerenciamento de nível de acordo de serviços, Gerenciamento de mudanças e Lei Geral de proteção de dados, se você já leu vá para o terceiro parágrafo. Quando falamos de Governança de TI, sabemos que é preciso ter um caminho a seguir, e para que dê certo é preciso em primeiro lugar criar esta cultura dentro da empresa, para isto acontecer é preciso ter uma área responsável para isto, se a sua empresa não tiver, crie uma área que vai trabalhar somente com a governança de TI, crie um estatuto para esta área, inclua-a no organograma, tendo como pilares de sustentação para esta área:

1) As Conformidades, 

2) Gerenciamento de projetos,

3) Gerenciamento de processos,

4) Gerenciamento de riscos,

5) Gerenciamento em segurança da informação,

6) PDTI. 

Tenha um framework que trabalhe bem as boas práticas, sugiro o ITIL(veja os links: definição, relacionamento do ITIL com o COBIT, como implantar ITIL), e outro próprio para a parte estratégica, sugiro o COBIT. Depois de criada a cultura, e todos os envolvidos entenderem para que é o ITIL (Serviços) e COBIT (Estratégia), verifique em que nível de maturidade a sua empresa encontra-se:

1 – Inexistente : Não há processos bem definidos.

2 – Inicial: Os processos estão na cabeça de uma só pessoa.

3 – Repetível: Existe um ou outro processo definido e várias pessoas sabem.

4 – Definido: Os processos foram mapeados, estão gravados e compartilhados na rede ou internet, mas não possui indicadores para começar o processo de melhoria.

5 – Gerenciável: Os indicadores estão definidos, começando a monitorar os indicadores.

6 – Otimizável: Os indicadores monitorados, trouxeram resultados que serão avaliados e melhorados.

Se a sua empresa estiver em um dos três níveis iniciais, comece com a implantação da cultura entre os colaboradores, depois disto a sequência supra citada virá naturalmente. Em paralelo ao citado acima comece uma gestão de mudanças,  gestão de nível de acordo de serviços, gestão de projetos, compartilhando com os lideres de área.

O gerenciamento de nível de serviços, é um gerenciamento no ITIL dentro do desenho de serviços, onde será feito um acordo com a alta administração da corporação, qual será o tempo que a área de TI vai atender a todos os serviços que se propõe a fornecer, quais serviços mais críticos, de que forma será monitorada e como será gerado os relatórios com os indicadores, além de uma melhoria contínua neste processo de prazos, qualidade e valores agregados aos serviços prestados, atualizando também o catálogo de serviços, excluindo os serviços não mais fornecidos, e atualizando com novos serviços, não esquecendo do gerenciamento de mudanças. Dentro do ciclos de vida do ITIL V 3.3, cada ciclo tem os seus gerenciamentos, todos de vital importância para que a TI agregue sempre valor ao serviço prestado.

DIAGRAMA DE GERENCIAMENTO DE NÍVEIS DE ACORDO DE SERVIÇOS

Fonte: https://omnett.com.br/10-pontos-para-gestao-niveis-servico-itil/

Determinar e documentar requisitos: Neste ponto é criado o catálogo de serviços e identificado os requisitos do negócio em relação aos serviços de TI.

Desenhar o SLA: Na fase de definição, é feito um rascunho demonstrando como os serviços serão entregues.

Negociar & acordar: Na negociação é feito o Acordo de Nível de Serviço propriamente dito, também o OLA, que é o acordo com as equipes internas para suportar o SLA, e também os contratos de apoio que são contratos com terceiros.

Melhorar o SLA: A melhora ocorre após análise dos dados fornecidos pelo monitoramento.

Monitorar a performance do serviço: Os níveis de serviço são monitorados de forma a medir o nível de qualidade de entrega dos serviços.

Produzir relatório do serviço: Os relatórios mostram os níveis de serviço alcançados e os acordados.

Conduzir a melhoria do serviço: Através da análise dos dados fornecidos pelo monitoramento é que são verificados pontos que podem ser melhorados na entrega dos serviços.

Depois de ler o artigo, responda a seguinte enquete.

Grato,

Jefferson Daminelli Garcia

STATUS DE RELATÓRIO

Quando se têm um projeto de informática para desenvolver, sempre é prudente distribuir tarefas entre os membros da equipe, com as tarefas bem definidas, o prazo a ser entregue e no final o status da tarefa. O ideal de um projeto é ter o escopo bem definido, prazos para a entrega de tarefas e data final para o término do projeto, custos bem definidos (neste exemplo entram só os levantamentos de software e hardware, Comunicação sólida entre os membros da equipe através de whatsapp, e-mail, reuniões rápidas, Prazos). O risco é necessário definir, depois que é definido o escopo, neste exemplo não precisará de definição dos riscos. A seguir um modelo de status de relatório, pode haver adaptações se a equipe decidir. Com a implantação de boas práticas, o status report é recomendado, pois a TI além de estar alinhada com a regra do negócio, também tem que colaborar com o meio ambiente descartando corretamente seus eletrônicos, substituindo o papel por meio eletrônico, tornando assim a TI Verde. Vejam também projetos de informática, como começar , TI Verde com ITIL e ITIL. 

Depois de ler o artigo, responda a seguinte enquete.

Grato,

Jefferson Daminelli Garcia

STATUS DO RELATÓRIO

CLIQUE 2 VEZES NA FIGURA PARA AMPLIÁ-LA

DIAGRAMA DE GANTT

Depois de voce começar o status report, baseie-se nos itens e tarefas para fazer o diagrama de Gantt.

REGRA DO NEGÓCIO

Quando uma empresa se propõe a desenvolver um sistema, seja para uso interno, seja para prestar um serviço para alguma corporação, a primeira palavra que ouvimos, seguida de uma pergunta é: Qual a Regra do Negócio? E a resposta é:

É o que a empresa faz, qual o objetivo, para quem a empresa faz ou atende com o seu serviço. O que praticamente define a regra do negócio é a Missão, Visão e valores da empresa, pois é através deles que o RH vai contratar um colaborador, o cliente vai comprar por que a empresa está passando ética, comprometimento e valores no produto que está oferecendo, fornecedores serão parceiros do negócio, concorrentes respeitarão o trabalho desenvolvido, produtos novos surgirão, e se você lembra das 5 Forças de Porter, quem atua na concorrência acirrada, são clientes, fornecedores, novos produtos, novos concorrentes. Missão, visão e valores de uma corporação é tão importante, que deve estar na primeira página do site da empresa, em destaque. É em função da regra do negócio que não só o sistema deverá ser desenvolvido, mas que seja o princípio da implantação da Governança de TI, que deverá estar alinhada com a Governança corporativa, que através de estratégias fazem os objetivos da empresa serem atingidos e cumpridos, e principalmente implantará uma gerencia de processos, que , bem definidos, nortearão as vendas, o marketing, o atendimento à clientes e outros, processos estes, que otimizados constantemente poderão ser automatizados pelo sistema que se está comprando ou desenvolvendo. Para esclarecer melhor com um exemplo temos vários exemplos de regras de negócio:

Escolas, Faculdades Universidades: São instituições de ensino cujo objetivo é passar conhecimento e formação profissional e cidadã para os alunos.

Convênios de Saúde: São instituições da área de saúde cujo objetivo é atender os usuários do plano proporcionando bem estar e qualidade de vida cuidando da saúde do cidadão.

Indústria: São instituições que fazem a transformação de matéria-prima em bens servíveis, que atenderá as necessidades da população em geral.

Comércio: São instituições que vendem bens servíveis por atacado ou varejo, atendendo as necessidades de consumo da população.

Prestadores de Serviços: São instituições que oferecem serviços à população, atendendo às necessidades de prestação de serviços à população.

Percebe-se pelo que cada empresa propõe a fazer, os relatórios, os indicadores, os processos serão diferentes, pois cada corporação atua em ramos diferentes do mercado.

Depois de ler o artigo, responda a seguinte enquete.

A Conquista do Cliente

Grato,
Jefferson Daminelli Garcia