O que é migração de dados?

A migração de dados é o processo de mover dados de um local para outro, de um formato para outro ou de um aplicativo para outro. Geralmente, isso é o resultado da introdução de um novo sistema ou local para os dados. O driver de negócios geralmente é uma migração ou consolidação de aplicativos em que os sistemas legados são substituídos ou aumentados por novos aplicativos que compartilharão o mesmo conjunto de dados. Atualmente, as migrações de dados geralmente são iniciadas à medida que as empresas mudam de infraestrutura e aplicativos locais para armazenamento e aplicativos baseados em nuvem para otimizar ou transformar sua empresa.

Por que a migração de dados é vista como difícil e arriscada?

A resposta curta é "gravidade de dados". Embora o conceito de gravidade de dados já exista há algum tempo, o desafio está se tornando mais significativo devido às migrações de dados para infraestruturas em nuvem. Em resumo, a gravidade dos dados é uma metáfora que descreve:

• Como os dados atraem outros dados à medida que crescem
• Como os dados são integrados em um negócio
• Como os dados se tornam personalizados ao longo do tempo

Para mover aplicativos e dados para ambientes mais vantajosos, o Gartner recomenda "desembaraçar" dados e aplicativos como um meio para superar a gravidade dos dados. Ao reservar um tempo no início do projeto para classificar as complexidades de dados e aplicativos, as empresas podem melhorar seu gerenciamento de dados, permitir a mobilidade de aplicativos e melhorar a governança de dados.

O principal problema é que todo aplicativo complica o gerenciamento de dados ao introduzir elementos da lógica do aplicativo na camada de gerenciamento de dados, e cada um é indiferente ao próximo caso de uso de dados. Os processos de negócios usam dados isoladamente e, em seguida, geram seus próprios formatos, deixando a integração para o próximo processo. Portanto, o design do aplicativo, a arquitetura de dados e os processos de negócios devem responder mutuamente, mas muitas vezes um desses grupos não pode ou não quer mudar. Isso força os administradores de aplicativos a evitar fluxos de trabalho ideais e simples, resultando em designs abaixo do ideal. E, embora a solução alternativa possa ter sido necessária no momento, essa dívida técnica deve eventualmente ser resolvida durante a migração de dados ou projetos de integração.

Dada essa complexidade, considere promover a migração de dados para a situação de "arma estratégica" para que ele obtenha o nível certo de conscientização e recursos. Para garantir que o projeto receba a atenção necessária, concentre-se no elemento mais provocativo da migração – o fato de que o sistema legado será desligado – e você terá a atenção das principais partes interessadas, garantida.

Tipos de migração de dados

Existem inúmeras vantagens comerciais na atualização de sistemas ou na ampliação de um data center para a nuvem. Para muitas empresas, esta é uma evolução muito natural. As empresas que utilizam o sistema de nuvem esperam que elas possam concentrar seus funcionários nos profissionais de negócios, alimentar o crescimento de primeira linha, aumentar a agilidade, reduzir as despesas de capital e pagar apenas o que precisam sob demanda. No entanto, o tipo de migração realizada determinará quanto tempo o pessoal de TI pode ser liberado para trabalhar em outros projetos.

Primeiro, vamos definir os tipos de migração:

• Migração de armazenamento. O processo de migração de dados de matrizes existentes para matrizes mais modernas permite que outros sistemas tenham acesso a elas. Oferece um desempenho significativamente mais rápido e uma escalabilidade mais econômica, ao mesmo tempo, em que permite recursos de gerenciamento de dados esperados, como clonagem, instantâneos e backup e recuperação de desastres.
• Migração de banco de dados. Bancos de dados são meios de armazenamento de dados onde os dados são estruturados de forma organizada. Os bancos de dados são gerenciados por meio de sistemas de gerenciamento de banco de dados (DBMS). Portanto, a migração do banco de dados envolve a mudança de um DBMS para outro ou a atualização da versão atual de um DBMS para a versão mais recente do mesmo DBMS. O primeiro é mais desafiador, especialmente se o sistema de origem e o sistema de destino usam estruturas de dados diferentes.
• Migração para a nuvem. O processo de migração de dados, aplicativos ou outros elementos de negócios de um data center local para uma nuvem ou de uma nuvem para outra. Em muitos casos, isso também implica uma migração de armazenamento.

• Migração da aplicação. O processo de migração de um programa de aplicativos de um ambiente para outro. Pode incluir a movimentação de todo o aplicativo de um centro de TI local para uma nuvem, a movimentação entre nuvens ou simplesmente a movimentação dos dados subjacentes ao aplicativo para uma nova forma do aplicativo hospedado por um provedor de software.

• Migração de Processos de Negócios. A migração de processos de negócios requer a movimentação de aplicativos de negócios e dados sobre processos de negócios e métricas para um novo ambiente. As métricas podem incluir informações de clientes, produtos e operacionais. A migração é comumente instigada pela otimização e reorganização de negócios e fusões e aquisições (M&A). Essas combinações de negócios são necessárias pela necessidade de entrar em novos mercados e permanecer competitivos.

• Migração do Data Center. A migração do data center está relacionada à migração da infraestrutura do data center para um novo local físico ou à movimentação de dados da infraestrutura do data center antigo para um novo equipamento de infraestrutura no mesmo local físico. Um data center abriga a infraestrutura de armazenamento de dados, que mantém os aplicativos críticos da organização. Consiste em servidores, roteadores de rede, switches, computadores, dispositivos de armazenamento e equipamentos de dados relacionados.

Como planejar uma migração de dados

A migração de dados envolve 3 passos básicos:

1. Extrair dados
2. Transformar dados
3. Carregar dados

A movimentação de dados importantes ou sensíveis e a desativação de sistemas legados podem colocar as partes interessadas em vantagem. Ter um plano sólido é uma necessidade; contudo, não é preciso reinventar a roda. Você pode encontrar numerosos exemplos de planos de migração de dados e listas de verificação na web. Por exemplo, o Data Migration Pro, uma comunidade de especialistas em migração de dados, tem uma lista de verificação abrangente que delineia um processo de 7 fases:

• Planejamento pré-migração. Avaliar os dados que estão sendo movidos para estabilidade.
• Início do projeto. Identificar e informar as principais partes interessadas.
• Análise paisagística. Estabelecer um processo robusto de gerenciamento de regras de qualidade de dados e informar o negócio sobre os objetivos do projeto, incluindo o desligamento de sistemas legados.
• Desenho da solução. Determinar que dados mover, e a qualidade desses dados antes e depois da mudança.
• Construir e testar. Codificar a lógica de migração e testar a migração com um espelho do ambiente de produção.
• Executar & validar. Demonstrar que a migração cumpriu com os requisitos e que os dados movidos são viáveis para uso comercial.
• Descomissionar & monitorar. Encerrar e descartar sistemas antigos.

Isto pode parecer uma quantidade esmagadora de trabalho, mas nem todas as etapas são necessárias para cada migração. Cada situação é única, e cada empresa aborda a tarefa de forma diferente.

Estratégias de migração de dados

Há mais de uma maneira de construir uma estratégia de migração de dados. As necessidades e requisitos de negócios específicos de uma organização ajudarão a estabelecer o que é mais apropriado. No entanto, a maioria das estratégias se enquadra em uma das duas categorias: “big bang” ou “trickle”.

• Migração “Big Bang”

Em uma migração de dados big bang, a transferência completa é concluída dentro de uma janela de tempo limitada. Os sistemas ativos sofrem tempo de inatividade enquanto os dados passam pelo processamento ETL e fazem a transição para o novo banco de dados.

O atrativo desse método é, claro, que tudo acontece em um evento com tempo limitado, exigindo relativamente pouco tempo para ser concluído. A pressão, porém, pode ser intensa, já que o negócio opera com um de seus recursos off-line. Isso corre o risco de uma implementação comprometida.

Se a abordagem do big bang fizer mais sentido para o seu negócio, considere executar o processo de migração antes do evento real.

• Migração “Trickle”

As migrações lentas, por outro lado, completam o processo de migração em fases. Durante a implementação, o sistema antigo e o novo são executados em paralelo, eliminando o tempo de inatividade ou interrupções operacionais. Os processos executados em tempo real podem manter os dados migrando continuamente.

Em comparação com a abordagem do big bang, essas implementações podem ser bastante complexas em design. No entanto, a complexidade adicional – se feita corretamente – geralmente reduz os riscos, em vez de adicioná-los.

Melhores Práticas de migração de dados

Existem algumas práticas recomendadas que devem ser observadas ao realizar um exercício de migração de dados para garantir que o processo seja contínuo e com alto grau de sucesso, evitando atrasos dispendiosos.

• Uma equipe de migração dedicada deve ser configurada com os especialistas certos para gerenciar e orientar o projeto.

• A migração de dados deve ser uma chance de limpar os dados e elevar seu padrão de qualidade antes de serem transmitidos para não herdar dados de qualidade inferior com problemas antigos.

• A quantidade de dados a serem migrados deve ser o mais dimensionado possível. A limpeza de dados pode ajudar a garantir que apenas dados úteis e de qualidade sejam migrados.

• Todos os dados devem ser perfilados antes de escrever scripts de mapeamento.

• Faça backup dos dados antes do início da migração para se proteger contra a perda de dados. Continue testando a migração desde as etapas de planejamento e design até a execução e manutenção para garantir o sucesso do projeto de migração.

• O sistema antigo só deve ser desligado após a confirmação do sucesso do processo de migração. Se falhar, uma reversão será necessária sem tempo de inatividade, pois o sistema antigo ainda estará em execução.

Os 10 maiores desafios da migração de dados

Embora a migração de dados tenha sido um fato da vida de TI por décadas, histórias de horror ainda são relatadas todos os anos. Aqui estão os 10 maiores desafios que as empresas encontram na migração de dados:]

1. Não entrar em contato com as principais partes interessadas. Não importa o tamanho da migração, há alguém, em algum lugar, que se preocupa com os dados que você está movendo. Localize-os e explique a necessidade deste projeto e o impacto sobre eles antes de começar a tarefa. Se você não fizer isso, você certamente terá notícias deles em algum momento, e as chances são boas que eles atrapalhem sua linha do tempo.

2. Não se comunicar com a empresa. Após explicar o projeto para as partes interessadas, certifique-se de mantê-los informados sobre seu progresso. É melhor fornecer um relatório de posição no mesmo dia toda semana, especialmente se as coisas saírem dos trilhos. A comunicação regular ajuda muito na construção de confiança com todos os afetados.

3. Falta de governança de dados. Certifique-se de saber quem tem os direitos de criar, aprovar, editar ou remover dados do sistema de origem e documentar isso por escrito como parte de seu plano de projeto.

4. Falta de perícia. Embora esta seja uma tarefa simples, há muita complexidade envolvida na movimentação de dados. Ter um profissional experiente e com excelentes referências ajuda o processo a correr bem.

5. Falta de planejamento. Em média, as famílias gastam de 10 a 20 horas planejando suas férias, enquanto as equipes de TI podem gastar apenas metade desse tempo planejando uma pequena migração de dados. As horas gastas no planejamento nem sempre garantem o sucesso, mas ter um plano de migração de dados sólido economiza horas quando se trata de realmente mover os dados.

6. Software e habilidades de preparação de dados insuficientes. Se esta for uma grande migração (milhões de registros ou centenas de tabelas), invista em software de qualidade de dados de primeira classe e considere contratar uma empresa especializada para auxiliar. Boas notícias: uma empresa externa provavelmente alugará o software para ajudar a economizar custos.

7. Aguardando especificações perfeitas para o alvo. Se a equipe de implementação estiver classificando os critérios de design, continue com as etapas 2 e 3. A prontidão para o objetivo será importante mais tarde no projeto, mas não deixe que isso o impeça agora.

8. Metodologia de migração não comprovada. Faça alguma pesquisa para ter certeza de que o procedimento de movimentação de dados funcionou bem para outras empresas como a sua. Resista à tentação de apenas aceitar o procedimento genérico oferecido por um fornecedor.

9. Gerenciamento de fornecedores e projetos. Fornecedores e projetos devem ser gerenciados. Se você ainda está fazendo seu trabalho diário, certifique-se de ter tempo para gerenciar o projeto e quaisquer fornecedores relacionados.

10. Dependências entre objetos. Com a tecnologia e os recursos das ferramentas de gerenciamento de dados disponíveis hoje, ainda é chocante saber sobre um conjunto de dados dependente que não foi incluído no plano original. Como as dependências entre objetos geralmente não são descobertas até tardiamente no processo de migração, certifique-se de criar uma contingência para elas para que toda a sua data de entrega não seja descartada.

Práticas recomendadas para migração de dados

Independentemente do método de implementação que você seguir, há algumas práticas recomendadas a serem lembradas:

• Faça backup dos dados antes de executar. Caso algo dê errado durante a implementação, você não pode perder dados. Verifique se há recursos de backup e se eles foram testados antes de prosseguir.
• Atenha-se à estratégia. Muitos gerentes de dados fazem um plano e o abandonam quando o processo corre “muito” sem problemas ou quando as coisas saem do controle. O processo de migração pode ser complicado e até frustrante às vezes, então prepare-se para essa realidade e siga o plano.
• Teste, teste, teste. Durante as fases de planejamento e design e durante a implementação e manutenção, teste a migração de dados para garantir que você alcançará o resultado desejado.

Migrando dados para a nuvem

Cada vez mais, as organizações estão migrando alguns ou todos os seus dados para a nuvem a fim de aumentar sua velocidade de lançamento no mercado, melhorar a escalabilidade e reduzir a necessidade de recursos técnicos.

No passado, os arquitetos de dados tinham a tarefa de implantar farms de servidores consideráveis ​​no local para manter os dados dentro dos recursos físicos da organização. Parte do motivo para avançar com servidores no local foi uma preocupação com a segurança na nuvem. No entanto, à medida que as principais plataformas adotam práticas de segurança que as equiparam à segurança de TI tradicional (e necessariamente conforme o GDPR), essa barreira à migração foi amplamente superada.

As ferramentas certas de integração na nuvem ajudam os clientes a acelerar os projetos de migração de dados na nuvem com uma plataforma como serviço (iPaaS) de integração em nuvem altamente escalável e segura. O conjunto de ferramentas de integração de dados nativas da nuvem e de código aberto da Talend permite a funcionalidade de arrastar e soltar para simplificar o mapeamento complexo, e nossas bases de código aberto tornam nossa solução econômica e eficiente.

Migração de dados x conversão de dados x integração de dados

Os termos migração de dados e conversão de dados às vezes são usados ​​​​de forma intercambiável na Internet, então vamos esclarecer isso: eles significam coisas diferentes. Conforme apontado anteriormente, a migração de dados é o processo de movimentação de dados entre locais, formatos ou sistemas. A migração de dados inclui criação de perfil de dados, limpeza de dados, validação de dados e o processo contínuo de garantia de qualidade de dados no sistema de destino. Em um cenário típico de migração de dados, a conversão de dados é apenas a primeira etapa de um processo complexo.

O termo conversão de dados refere-se ao processo de transformação de dados de um formato para outro. Isso é necessário ao mover dados de um aplicativo legado para uma versão atualizada do mesmo aplicativo ou um aplicativo totalmente diferente com uma nova estrutura. Para convertê-lo, os dados devem ser extraídos da fonte, alterados e carregados no novo sistema de destino com base em um conjunto de requisitos.

Outro termo que às vezes é confundido com migração de dados é integração de dados. A integração de dados refere-se ao processo de combinação de dados que residem em diferentes fontes para fornecer aos usuários uma visão unificada de todos os dados. A integração de dados de várias fontes é essencial para a análise de dados. Exemplos de integração de dados incluem data warehouses, data lakes FabricPools, que automatizam o tiering de dados entre data centers locais e nuvens ou automaticamente hierarquizam os dados entre o armazenamento de blocos do AWS EBS e os armazenamentos de objetos do AWS S3.

Ferramentas de migração de dados

Exemplos de ferramentas de migração de dados incluem o seguinte, entre outros:

1. IBM InfoSphere
2. Clover DX
3. Microsoft SQL
4. Oracle Data Service Integrator
5. Informatica PowerCenter
6. IRI NextForm
7. Xplenty
8. AWS data migration
9. Azure DocumentDB
10. Talent Open Studio