A LEI QUE VEIO PARA FICAR

O que a lei geral de proteção de dados vai nos trazer de segurança:

Ultimamente tem sido muito debatido sobre a importância de se ter bem definida a classificação dos seus dados armazenados, se são públicos, de uso interno, sigiloso ou secreto, tendo cada um deles um prazo de armazenamento e regras para consultá-los, e para quem solicitar. Muitos profissionais tem ministrado palestras sobre este tema, e além deles venho percebendo um certo desprezo pela lei, e principalmente a velha máxima de que a lei não vai pegar, e vai pegar muita gente de surpresa e despreparada, porque a lei impõe multas pesadas para quem não cumpri-la, e as nossas leis são bem claras em determinar que após uma lei ser promulgada não será aceita o não conhecimento da mesma como justificativa.

OBSERVAÇÃO IMPORTANTE

Empresas que possuem cadastro de clientes, quando precisam por força de lei prestar informações aos órgão públicos não precisam ter autorização dos clientes para passar estas informações. Só será preciso ter a assinatura do cliente autorizando um contato futuro pela empresa, se o motivo do contato for para a venda, contrato de um novo produto. Isto que dizer que se eu comercializei um produto X, obtive os dados pessoais, e depois disto quero vender um outro produto, na hora que o mesmo comprou o produto X, tem que ter assinado um termo que aqueles dados podem ser utilizados para um contato futuro para a venda de outro produto. Instituições públicas de ensino que possuem em suas bases de dados o cadastro dos alunos, as informações que precisam ser repassadas para MEC, CAPES que por força de lei precisam ser enviados, não precisa de autorização. Se eu for oferecer um outro curso, participação em palestras de formação profissional, preciso de autorização dos donos dos dados para que isto possa ser feito. Instituições de ensino possuem cadastros de alunos, professores, técnicos administrativos, parceiros, terceirizados, estagiários e outros, precisa efetuar um levantamento de todas as bases de dados para uma análise bem criteriosa de como você vai efetuar o trabalho de levantamento para autorizações futuras de contato.

Responda o seguinte questionário e depois Reserve um pouco do seu tempo para a leitura da Lei Geral de Proteção de Dados (Este texto traz o link da Lei Geral de Proteção de dados e do Marco Civil da Internet).

Grato,
Jefferson Daminelli Garcia

Inteligência Artificial

Fonte: E-bookIA.pdf (Este arquivo é liberado depois de concluído o curso de Inteligência Artificial Fundamentos) Aproveito a oportunidade para agradecer ao excelente trabalho no desenvolvimento do conteúdo deste E-book, recomendo fazerem o curso de Inteligência Artificial Fundamentos para atualizarem-se.

Site: https://www.datascienceacademy.com.br

O que é IA?

A definição mais útil é:

Autonomia:

A capacidade de executar tarefas em ambientes complexo sem orientação constante por um usuário.

Adaptabilidade:

A capacidade de melhorar o desempenho aprendendo com a experiência.

Campos relacionados com a IA

Aprendizado de máquina (Machine Learning):

Sistemas que melhoram o seu desempenho em uma determinada tarefa com mais e mais experiências ou dados.

O Aprendizado Profundo (Deep Learning):

É um subcampo do aprendizado de máquina, que em si é um subcampo da IA, que em si é um subcampo da ciência da computação. A “profundidade” da aprendizagem profunda refere-se à complexidade de um modelo matemático. E o aumento do poder computacional dos computadores modernos que permitiu aos pesquisadores aumentar essa complexidade para atingir níveis que são não apenas quantitativamente, mas também qualitativamente diferentes de como eram antes. (Como você pode perceber, a ciência frequentemente envolve um número de subcampos progressivamente mais especiais, subcampos de subcampos e assim por diante. Isso permite que os pesquisadores ampliem um tópico em particular para que seja possível alcançar uma quantidade cada vez maior de conhecimentos acumulados durante anos, e produzir novos conhecimentos sobre o tema ou, às vezes, até mesmo, corrigir o conhecimento anterior para ser mais preciso.)

A Ciência de Dados – Data Science 

É um termo genérico recente (termo que abrange várias sub-disciplinas) que inclui aprendizado de máquina, matemática e estatística, certos aspectos da ciência da computação, incluindo algoritmos, armazenamento de dados e programação. A ciência de dados é também uma disciplina prática que requer compreensão do domínio no qual ela é aplicada, por exemplo, negócios ou ciência: seu propósito (o que significa "valor agregado"), suposições básicas e restrições. As soluções de ciência de dados geralmente envolvem pelo menos uma pitada de inteligência artificial (mas geralmente não tanto quanto se espera das manchetes).

Robótica Significa construir e programar robôs para que eles possam operar em cenários complexos do mundo real. De certa forma, a robótica é o último desafio da IA, uma vez que, requer uma combinação de virtualidade em todas as áreas da IA. Por exemplo:

Visão computacional e reconhecimento de fala para sentir o ambiente

Processamento de linguagem natural, recuperação de informações e raciocínio sob incerteza para o processamento de instruções e previsão de consequências de possíveis ações

Modelagem cognitiva e computação afetiva para interagir e trabalhar em conjunto com humanos

Muitos dos problemas de IA relacionados à robótica são melhor abordados pelo aprendizado de máquina, o que torna o aprendizado de máquina uma ramificação central da IA para a robótica.

A Escassez de Talentos Dificulta a Evolução da IA

Empresas em todo mundo continuam buscando formas de criar aplicações baseadas em Inteligência Artificial e utilizá-las em suas operações a fim de conseguir vantagem competitiva, mas os avanços na tecnologia estão paralisados devido à falta de talentos, de acordo com um estudo recente.

Mais da metade dos executivos de empresas que trabalham com Inteligência Artificial (IA) dizem que a falta de profissionais qualificados impede que eles implementem operações de negócios, segundo um estudo recente da Ernst & Young, que entrevistou algumas centenas de profissionais seniores de IA na região de Bay Area em San Francisco, coração do Vale do Silício, na Califórnia, EUA.

“Este ano, quando as empresas criaram estratégias para integrar a Inteligência Artificial em suas operações, elas foram prejudicadas pela falta de especialistas com conhecimento necessário da tecnologia”, disse Chris Mazzei, chefe de análise da Ernst & Young, em um comunicado à imprensa. “Isso serve para demonstrar que a integração bem-sucedida da IA não é apenas sobre a tecnologia, é sobre pessoas também.”

O estudo da Ernst & Young também descobriu que 41% vêem a diversidade de gênero dos profissionais de IA influenciando a forma como as aplicações são construídas.

A Inteligência Artificial já está entre nós, desde serviços bancários a veículos autônomos. De acordo com a pesquisa da CITE Research, o interesse atual dos executivos de negócios pela IA está focado no aprendizado de máquina, assistentes digitais inteligentes comandados por voz e processamento de linguagem natural, todos classificados como “muito úteis” na pesquisa.

O investimento em 2016 em IA foi de US $ 39 bilhões – um aumento de três vezes em relação a 2013, de acordo com o estudo da McKinsey & Co. Gigantes da tecnologia, como o Baidu, da China, e o Google, gastaram entre US $ 20 bilhões e US $ 30 bilhões em IA em 2016.

As organizações percorreram um longo caminho na curva de aprendizado da IA, e esperamos que o ritmo de adoção acelere em 2018 “, declarou Nigel Duffy, que é chefe de inovação global em IA da Ernst & Young.” O objetivo aspiracional da IA é pegar inteligência e colocá-la em máquinas. Para ter sucesso, os líderes devem identificar um desafio de negócios e, em seguida, determinar onde a tecnologia pode resolver esse problema – mas isso só pode ser realizado com o apoio de profissionais experientes em Inteligência Artificial que possam identificar oportunidades de IA em seus negócios ”.

Especialistas em IA típicos, incluindo Ph.Ds recém-graduados e profissionais com alguns anos de experiência, podem acumular um salário de US$ 300.000 a US$ 500.000 por ano, de acordo com um recente relatório do New York Times. Os salários estão crescendo tão rapidamente que existem referências ao teto salarial no estilo da Liga Nacional de Futebol Americano para profissionais de IA.

“Olhando para 2018, as organizações devem priorizar a aquisição e o cultivo de talentos – tanto recrutando indivíduos com fortes conhecimentos técnicos quanto investindo em habilidades e programas de treinamento para ajudar a manter e fomentar os principais profissionais de IA”, afirmou Mazzei.

As empresas tiveram que ser criativas. No início deste ano, o Business Journal relatou a estratégia da Nvidia, com sede em Santa Clara no Vale do Silício, para obter talentos em IA, o que inclui o recrutamento pessoal no LinkedIn por seu CEO e extensos programas internos.

E você, o que está esperando para fazer parte desta revolução e se tornar um profissional com alta empregabilidade? Aprender a trabalhar com IA é uma longa jornada e podemos ajudar você, com um programa único no Brasil, 100% online e 100% em português. A Formação Inteligência Artificial inclui tudo que você precisa para começar a construir suas aplicações de IA. Clique no link abaixo para saber mais e ver o programa completo.

https://www.datascienceacademy.com.br

Veja também:
A teoria da relatividade e a informática

Como a inteligência artificial pode ajudar no combate ao covid-19

Como a inteligência artificial pode ajudar no combate ao covid-19, II

Grato,

Jefferson Daminelli Garcia

50ANOS_CCE

A AGTIC é o atual Centro de Computação Eletrônica (antigo CCE), que passou por mudanças na sua estrutura organizacional, para refletir a realidade da TIC na instituição em alinhamento com as políticas e normativas do Governo Federal. com modernização de cargos e funções, com uma governança de TI sólida, que está começando a adotar boas práticas para um melhor alinhamento com a regra do negócio.

Veja:

Terceiro Integra TI
Agencia de Tecnologia da Informação e Comunicação é o novo nome do Centro de Computação Eletrônica (Nota UFPR)

Vídeo de comemoração dos 50 anos do CCE( Atual AGTIC)

Novo site da AGTIC

Grato,

Jefferson Daminelli Garcia

MAPEAMENTO DE PROCESSOS

Mapeamento de processos é importante pois através dele, você consegue otimizar processos, identificar falhas no processo, identificar riscos. A seguir temos o mapeamento do processo para identificar o cliente para uma consulta médica através do seu convênio. Foi constatado depois que o mapeamento foi efetivado, que havia falha na identificação do cliente, e isto foi possível através dos relatórios gerados no final do atendimento, que depois de atendido, muitos clientes começaram a reclamar que a consulta não havia acontecido, constatou-se que a maioria havia tido o seu cartão perdido ou roubado. Através destes dados, conseguiu-se implantar a identificação digital no atendimento, evitando assim atendimentos indevidos.

MAPEAMENTO DO PROCESSO IDENTIFICAÇÃO DO CLIENTE PARA CONSULTA MÉDICA

COMO FICA O NOVO MAPEAMENTO DO PROCESSO COM IDENTIFICAÇÃO DO CLIENTE POR DIGITAL PARA CONSULTA MÉDICA

Veja também:

Big Data (Fundamentos 2.0)

Big Data (Aplicação)

Governança de TI

ITIL

COBIT

Big Data, Hadoop, BlockChain, Internet das coisas 

Grato,

Jefferson Daminelli Garcia

CUIDADO COM EMAILS INDESEJADOS

Fonte do texto: https://www.tecmundo.com.br/email/20884-como-saber-se-o-email-que-recebi-e-verdadeiro-.htm

Não importa se você possui um filtro anti-spam ou não ativado em sua conta de email. Ainda assim, é bem provável que você receba pelo menos uma vez por semana algum tipo de mensagem indesejada. A praga é universal e já foi pior, mas tomando algumas precauções simples é possível escapar ileso da malícia dos spammers.

A principal dica ao receber um e-mail cujo remetente é desconhecido ou suspeito é ter calma e ler com atenção a mensagem. Prestar atenção em detalhes como endereço de origem, sites para onde os links contidos na mensagem apontam e o tipo de arquivo anexado já reduz consideravelmente as chances de você cair em uma cilada.

Quem mandou isso?

O primeiro passo é checar o e-mail do remetente da mensagem. Bancos e órgãos governamentais não costumam mandar mensagens eletrônicas para os seus clientes com alertas de cobrança, pedidos de recadastramento ou alerta para troca de senha. Ou seja, se esse for o assunto, descarte a mensagem sem pensar duas vezes.

Contudo, se você quiser se certificar, cheque o endereço do remetente da mensagem e veja se ele confere com a URL original do site em questão. Por exemplo: se você receber um e-mail do Banco do Brasil, cujo endereço depois da “@” não seja “bancodobrasil.com.br” ou “bb.com.br”, fuja imediatamente.

É comum que os spammers registrem endereços similares ou com palavras adicionais, como “info”, “cadastro” e “cobrança”. Em caso de dúvida, entre em contato com a agência ou o órgão supostamente responsável pelo envio do email e tire suas dúvidas antes de clicar.

Links que apontam para o mal

Alguns links contidos no corpo da mensagem também não são exatamente o que aparentam ser. A dica aqui é não clicar antes de checar qual é a real URL para a qual você é direcionado. Para descobrir isso, basta passar o mouse sobre o link e ficar atento ao endereço que aparece no canto inferior esquerdo da sua tela.

O endereço que aparece na parte de baixo é a URL de verdade, independente do que esteja escrito no link disponível no corpo do texto. Caso o link tenha alguma terminação como “.exe” ou “.src”, trata-se de um aplicativo que será baixado e instalado em sua máquina — o que, em uma situação como essa, é ainda pior.

Cuidando dos anexos

Alguns emails podem até passar nos dois quesitos acima, mas há ainda um terceiro item a ser observado. Fique atento ao tipo de arquivo que vem anexado à mensagem. É muito comum receber recados cujo texto não é comprometedor, uma vez que proposta de quem envia é que você baixe algum dos arquivos anexos.

Caso o email contenha arquivos executáveis ou compactados que você não tenha solicitado, não hesite em descartar a mensagem antes mesmo de baixar o conteúdo. A probabilidade de que exista algum item malicioso nos anexos é enorme. Por isso, aprenda a controlar a sua curiosidade, apague a mensagem e garanta tranquilidade para o seu computador.

O que mais você pode fazer para se proteger?

A Serasa sempre orienta os consumidores a tomar muito cuidado com seus dados pessoais, em especial o CPF.

• Não perca da vista os seus documentos
• Não informe os números dos seus documentos em sorteios e promoções de empresa que você não conhece
• Não faça cadastro em sites que não sejam de confiança
• Desconfie de sites que anunciam produtos com preços muito abaixo do mercado
• Não compartilhe dados pessoais em redes sociais
• Não envie dados sigilosos por e-mail, a não ser que você use uma criptografia ou certificados digitais, que te protegem caso a sua mensagem seja interceptada
• Tenha um antivírus atualizado
• Fazer escaneamento diário do seu computador com o antivírus atualizado
• Não clique em e-mails recebidos que você não sabe quem mandou

Veja também:  Segurança da informação

Grato,

Jefferson Daminelli Garcia

MENU_GERAL_DO_BLOG

ESTE MENU TEM POR OBJETIVO, ORIENTAR A SUA NAVEGAÇÃO DENTRO DO BLOG

AGRO (ASSUNTOS SOBRE AGRONEGÓCIO)

APLICATIVOS (SOFTWARE PARA ESCRITÓRIO)

CIÊNCIA DE DADOS (O QUE É, APLICAÇÕES)

EDUCAÇÃO (EDUCAÇÃO E CONHECIMENTO)

EMPREGOS (EMPREGOS E PRODUTIVIDADE)

FORMAS DE ENERGIA (ENERGIA ELÉTRICA E ALTERNATIVAS)

GERAÇÃO DE COMPUTADORES (EVOLUÇÃO DOS COMPUTADORES)

GOVERNANÇA DE TI (O QUE É GOVERNANÇA, ITIL, COBIT)

INFRAESTRUTURA (INFRAESTRUTURA DE TI)

INTEGRAÇÃO (EMPREENDEDORISMO, PALESTRAS, REUNIÕES)

SISTEMA DE ARQUIVOS (O QUE É SISTEMA DE ARQUIVOS, EXEMPLOS)

INFO_GERAL (ASSUNTOS GERAIS DE INFORMÁTICA)

MENU AUXILIAR
CHIPSETS (EVOLUÇÃO, O QUE SÃO) 
MÁQUINA DE VON NEUMANN (ENIAC, VÍDEO)
ONDE SÃO UTILIZADOS OS BITS (O QUE É BIT, ONDE É UTILIZADO, ORIGEM)
DA INFORMAÇÃO ESCRITA ATÉ BITS E BYTES (EVOLUÇÃO DO ARMAZENAMENTO)

QUANDO VOCÊ ACESSA A PÁGINA PRINCIPAL DO BLOG PELO DESKTOP (COMPUTADOR DE MESA) DO LADO DIREITO HÁ UMA BARRA LATERAL COM MARCADORES QUE PERMITE VOCÊ ACESSAR OS MESMOS MENUS ACIMA(EXCETO MENU AUXILIAR).

Grato,

Jefferson Daminelli Garcia

BIG DATA FUNDAMENTOS 2.0

Fonte: E-bookBigDataV2.pdf (Este arquivo é liberado depois de concluído o curso de Big Data) Aproveito a oportunidade para agradecer ao excelente trabalho no desenvolvimento do conteúdo deste E-book, recomendo fazerem o curso de Big Data para atualizarem-se.

Site: https://www.datascienceacademy.com.br

Cerca de 90% de todos os dados gerados no planeta, foram gerados nos últimos 2 anos.

Aproximadamente 80% dos dados são não-estruturados ou estão em diferentes formatos, o que dificulta a análise. Modelos de análise de dados estruturados, possuem limitações quando precisam tratar grandes volumes de dados.

Muitas empresas não sabem que dados precisam ser analisados Muitas empresas nem mesmo sabem que os dados estão disponíveis Dados preciosos são descartados por falta de conhecimento ou ferramentas de tratamento. É caro manter e organizar grandes volumes de dados não-estruturados.

Estamos em um período de transformação no modo em que dirigimos nossos negócios e, principalmente, as nossas vidas. Neste exato momento, uma verdadeira enxurrada de dados, ou 2.5 quintilhões de bytes por dia, é gerada para nortear indivíduos, empresas e governos, e está dobrando a cada dois anos. Toda vez que fazemos uma compra, uma ligação ou interagimos nas redes sociais, estamos produzindo esses dados. E com a recente conectividade em objetos, tal como relógios, carros e até geladeiras, as informações capturadas se tornam massivas e podem ser cruzadas para criar roadmaps cada vez mais elaborados, apontando e, até prevendo, o comportamento de empresas e clientes. Entre 2005 e 2020, o universo digital irá crescer de 130 exabytes para 40.000 exabytes ou 40 trilhões de gigabytes. Em 2020, haverá 5.200 gigabytes para cada homem, mulher e criança no planeta Até 2020, o universo digital irá dobrar de tamanho a cada 2 anos. A revolução não está nas máquinas que calculam os dados e sim nos dados em si e na maneira que são utilizados.

AFINAL, O QUE É BIG DATA?

Big Data é uma coleção de conjuntos de dados, grandes e complexos, que não podem ser processados por bancos de dados ou aplicações de processamento tradicionais.

Capacidade de uma sociedade de obter informações de maneiras novas a fim de gerar ideias úteis e bens e serviços de valor significativo. O Google estima que a humanidade criou nos últimos 5 anos, o equivalente a 300 Exabytes de dados ou seja:

300.000.000.000.000.000.000 bytes de dados.

Podemos definir o conceito de Big Data como sendo conjuntos de dados extremamente amplos e que, por este motivo, necessitam de ferramentas especialmente preparadas para lidar com grandes volumes, de forma que toda e qualquer informação nestes meios possa ser encontrada, analisada e aproveitada em tempo hábil.

De maneira mais simplista, a ideia também pode ser compreendida como a análise de grandes quantidades de dados para a geração de resultados importantes que, em volumes menores, dificilmente seriam alcançados. No mundo do Big Data, por sua vez, não temos de nos fixar na causalidade; podemos descobrir padrões e correlações nos dados que nos propiciem novas e valiosas ideias.

Muitos dos dados gerados, possuem um tempo de vida curto e se não analisados, perdem a utilidade. Dados são transformados em informação, que precisa ser colocada em contexto para que possa fazer sentido. É caro integrar grandes volumes de dados não-estruturados. Dados potencialmente valiosos em sistemas ERP, CRM ou SCM são descartados ou perdidos apenas porque ninguém presta atenção neles.

QUAL O TAMANHO DO BIG DATA?

IMPORTÂNCIA DO BIG DATA

• Porque surgiram tecnologias que permitem processar esta grande quantidade de dados de forma eficiente e com baixo custo.
• Os dados podem ser analisados em seu formato nativo, seja ele estruturado, não estruturado ou Streaming (fluxo constante de dados).
• Dados podem ser capturados em tempo real.
• Dados podem ser transformados em insights de negócios.

DESAFIOS

Encontrar profissionais habilitados em Big Data. Compreender as plataformas e ferramentas para Big Data.

Coletar, armazenar e analisar dados de diferentes fontes, em diferentes formatos e gerados em diferentes velocidades.

Migrar do sistema tradicional de coleta e armazenamento de dados, para uma estrutura de Big Data.

OS 4 V’S DO BIG DATA

VOLUME: Tamanho dos dados

VELOCIDADE: Na geração de dados

VARIEDADE: Do formato dos dados

VERACIDADE: Confiabilidade dos dados

Espera-se que 40 zettabytes de dados sejam criados até 2020 no mundo;

Cerca de 2.5 quintillionbytes de dados são criados por dia;

Existem atualmente cerca de 6 bilhões de telefones móveis no planeta;

Cada empresa americana armazena cerca de 100 Terabytes de dados.

OBSERVAÇÕES IMPORTANTES 

Existem programas como o NoSql, que fazem as tratativas dos dados no Big Data com muita rapidez e alta escalabilidade, sendo o NoSql uma classe de bancos de dados que diverge do modelo de sistema de gerenciamento de bancos de dados relacionais – não fazendo uso primário de tabelas e não usando, no geral, declarações SQL para efetuar a manipulação de dados. Para introduzir estas novas ferramentas não podemos esquecer que deverá haver um mapeamento de processos, gerenciamento de mudanças, gerenciamento de nível de acordo de serviços, analisando o quanto esta mudança vai afetar os serviços acordados, gestão de riscos, analisando os riscos iminentes da mudança, e, o gerenciamento de configuração de ativos e serviços, avaliando o que vai mudar nas configurações de hardware e software.

Depois de ler o artigo, responda a seguinte enquete.

Vejam Também:
Big Data (Aplicação)
Big Data, Hadoop, BlockChain, Internet das coisas

A teoria da relatividade e a informática

Grato,

Jefferson Daminelli Garcia

HDFS E MAPREDUCE

Fonte: E-bookBigDataV2.pdf (Este arquivo é liberado depois de concluído o curso de Big Data) Aproveito a oportunidade para agradecer ao excelente trabalho no desenvolvimento do conteúdo deste E-book, recomendo fazerem o curso de Big Data para atualizarem-se.

Site: https://www.datascienceacademy.com.br

O hadoop está se tornando o padrão nos projetos de Big Data porque possui:

• Livre.

• Baixo custo.

• Tolerância a falhas a recuperação automática.

• Portabilidade entre hardware e sistemas operacionais heterogêneos.

• Escalabilidade para armazenar e processar grandes quantidades de dados.

• Confiabilidade, através da manutenção de várias cópias de dados, e, permite que os jobs sejam executados em paralelo e em caso de falhas de um job, outros não são afetados.

• Flexibilidade – processa todos os dados independente do tipo e formato, seja estruturado ou não-estruturado.

• Acessibilidade – suporte a diversas linguagens de programação como Java, C++, Python, Apache Pig.

Componentes Base do Hadoop: Hadoop HDFS + Hadoop MapReduce

Onde:

HDFS: Armazenamento distribuído. Foi desenvolvido utilizando o projeto do sistema de arquivos distribuídos (DFS). Ele é executado em hardware commodity (baixo custo). Ao contrário de outros sistemas distribuídos, HDFS é altamente tolerante a falha.

CARACTERÍSTICAS DO HDFS

• DFS (Distributed File System) - foi criado para gestão de armazenamento em uma rede de computadores.

• HDFS é otimizado para armazenar grandes arquivos.

• HDFS foi pensado para executar em clusters de computadores de baixo custo.

• HDFS foi pensado para ser ótimo em performance do tipo WORM (Write Once, Read Many Times), que é um eficiente padrão de processamento de dados.

• HDFS foi pensando considerando o tempo de leitura de um conjunto de dados inteiro e não apenas o primeiro registro.

COMO É CONFIGURADO O HADOOP

MapReduce: Computação distribuída

• MapReduce é um modelo de programação para processamento e geração de grandes conjuntos de dados.

• MapReduce transforma o problema de análise em um processo computacional que usa conjuntos de chaves e valores.

• MapReduce foi desenvolvido para tarefas que consomem minutos ou horas em computadores conectados em rede de alta velocidade gerenciados por um único master.

• MapReduce usa um tipo de análise de dados por força bruta. Todo o conjunto de dados é processado em cada query.

• MapReduce permite a execução de queries ad-hoc em todo o conjunto de dados em um tempo escalável.

• Muitos sistemas distribuídos combinam dados de múltiplas fontes (o que é bem complicado), mas MapReduce faz isso de forma eficiente e efetiva.

• O segredo da performance do MapReduce, está no balanceamento entre seeking e transfer: reduzir operações de seeking e usar de forma efetiva as operações de transfer.

Seek time – é o delay para encontrar um arquivo.

Transfer rate – é a velocidade para encontrar o arquivo. Transfer rates tem melhorado significativamente (é bem mais veloz que Seek times).

• O MapReduce é bom para atualizar todo (ou a maior parte) de um grande conjunto de dados.

• RDBMS (Relational Database Management System) são ótimos para atualizar pequenas porções de grandes bancos de dados.

• RDBMS utiliza o tradicional B-Tree, que é altamente dependente de operações de Seek.

• MapReduce utiliza operações de SORT e Merge para recriar o banco de dados, o que é mais dependente de operações de transfer.

O MapReduce se baseia em operações de transfer, o que deixa o acesso aos dados muito mais veloz.

COMO TRABALHA O MAPREDUCE

TIPOS DE DADOS

MapReduce é muito efetivo com dados semi ou não estruturados, porque MapReduce interpreta dados durante as sessões de processamento de dados. Ele não utiliza propriedades intrínsecas. Os parâmetros usados para selecionar os dados, são definidos pela pessoa que está fazendo a análise.

Informação Importante: Hadoop não é um banco de dados. Hadoop é um framework para armazenamento e processamento de grandes conjuntos de dados.

Depois de ler o artigo, responda a seguinte enquete.

Veja Também:
A teoria da relatividade e a Informática

Grato,
Jefferson Daminelli Garcia