As empresas olham para suas informações espaciais, agora mais do que nunca, para analisar situações e tomar decisões. Porém, antes que os dados possam libertar todo o seu valor, precisam estar acessíveis para os usuários que necessitam deles. Compartilhar e utilizar livremente dados espaciais são atividades que, frequentemente, enfrentam desafios de interoperabilidade e a ausência de padrões é uma barreira que limita ou impede o fluxo dos mesmos.
Há mais de 15 anos, as ferramentas de Spatial ETL surgiram como uma forma de auxiliar a tornar dados espaciais acessíveis aos usuários finais. Independentemente do modelo de dados ou formato inicial, as ferramentas de Spatial ETL possibilitam aos usuários, como topógrafos, desenvolvedores e até os próprios especialistas GIS, acessarem dados espaciais em aplicações CAD, GIS e outras, para analisar, visualizar e planejar.
Além da extração, transformação e carga
Quem conhece a sigla ETL surpreende-se em saber que, quando a Safe Software cunhou o termo Spatial ETL, em 1993, ele significava simplesmente “extrair, transformar e carregar dados espaciais”. Produtos tradicionais de ETL para Business Intelligence (BI) foram desenvolvidos com o mesmo propósito, mas com uma diferença: não estavam inclusos os dados espaciais de uma organização, que em média constituem mais de 80% de todos os dados corporativos.
O objetivo das ferramentas de Spatial ETL é liberar os dados espaciais existentes – frequentemente o mais inexplorado, ainda que o mais vital ativo corporativo – para aprimorar a análise dos negócios e influenciar as decisões corporativas.
Então, como fazer com que ferramentas de Spatial ETL tornem as informações espaciais acessíveis?
Elas constituem um mecanismo econômico de conversão de dados no formato, projeção e modelo para que as pessoas os utilizem quando precisarem. Para atingir este objetivo, o Spatial ETL é composto destas habilidades:
– Extração de dados a partir de sua fonte
No processo de extração, a ferramenta direciona os dados da fonte para serem processados, copiando-os a partir de sua localização inicial. Isto assegura que, quando a transformação ocorrer, no próximo passo, o processo possa ser feito sem impactar a infraestrutura existente.
– Transformação de dados para torná-los utilizáveis
É a principal funcionalidade do Spatial ETL, por ser o processo que converte o dado no formato, estrutura e sistema de coordenadas que o usuário final necessita. A transformação ocorre de três formas, permitindo aos usuários:
1. Converter
Transformar um conjunto de dados de um formato para outro, permitindo que a informação seja usada em aplicações diferentes daquela que corresponde ao formato original.
2. Reestruturar
Adequar um modelo de dados às necessidades do usuário. Em muitos casos, reestruturação envolve alterações do sistema de coordenadas no qual o dado é armazenado, além de filtragem das informações existentes para um determinado modelo de dados de destino. Para bancos de dados, reestruturação geralmente significa reorganizar os nomes de tabelas e colunas, e também como o dado é organizado dentro destas. Formatos de arquivos frequentemente requerem reestruturações similares de modelos de dados, para corresponder com a aplicação de destino.
3. Integrar
Combinar dados de múltiplas fontes. Enquanto um processo de integração simplificado pode orientar dados de bases distintas, armazenadas no mesmo formato, processos complexos de integração envolvem combinação de fontes e modelos de dados distintos. Por exemplo, dados criados em uma aplicação GIS podem ser integrados com os gerados em um ambiente CAD e outros produzidos em uma aplicação BIM.
Verdadeiras ferramentas de Spatial ETL permitem que os usuários unam e combinem estes três processos – conversão, reestruturação e integração – em um único. Isto permite criar conjuntos de dados de destino que são imediatamente utilizados por usuários finais, de acordo com seus próprios requisitos.
Carregando ou visualizando dados em conjuntos de dados de destino
Os dados solicitados podem ser carregados ou visualizados em um conjunto de dados de destino, mais comuns. Com o avanço da tecnologia, é possível visualizar somente os dados necessários e a visualização tem se tornado uma solução popular para carregar dados.
Entretanto, as vantagens de manipular, editar, salvar e abrir o dado em diferentes aplicações certamente mantém a sua popularidade, especialmente para os especialistas GIS e planejadores que utilizam desenhos CAD.
Uma vez que o dado tenha sido carregado em um conjunto de dados de destino, ou em uma visualização, ele poderá ser acessado e usado posteriormente por usuários finais, abrindo-os na aplicação de sua escolha.
Adicionalmente, uma vez que os dados tenham sido combinados a partir de múltiplas fontes, os usuários finais podem acessar quase tudo que precisarem a partir de uma fonte centralizada. Este conceito é chamado de “create once, deliver to many”, ou, “criado uma vez, disponível para muitos”. Desta forma, os criadores/editores dos dados fonte continuam utilizando as ferramentas de sua escolha, enquanto que os usuários finais podem acessar todos os dados existentes a partir de uma localização central – com processos de Spatial ETL rodando silenciosamente em segundo plano para manter um repositório de dados de destino central atualizado.
Requisitos essenciais para um Spatial ETL verdadeiro
Agora que os conceitos básicos de extração, transformação e carga foram apresentados, é importante entender três requisitos essenciais que verdadeiras ferramentas de Spatial ETL costumam atender: processamento centralizado, transformação semântica e transformação orientada a modelos.
– Processamento centralizado
Ferramentas eficientes de Spatial ETL extraem dados através de um processo centralizado que usa um conjunto de leitores (readers – extratores) e escritores (writers – loaders) que agem como plugins. Quando os dados espaciais são extraídos, eles são inseridos no processo pelo leitor daquele formato do dado original, e então são transformados e carregados em um dado de destino usando um plug-in escritor. Nos casos onde os dados são integrados a partir de múltiplas e distintas fontes, a ferramenta simplesmente usa múltiplos leitores.
Esta técnica de processamento centralizado assegura que as ferramentas de Spatial ETL possam converter dados de e para a mais ampla gama de formatos, com crescimento fluido para atender às mudanças de mercado através da adição de suporte a novos formatos que surjam. Quando um novo formato é identificado, desenvolvedores facilmente introduzem o suporte através da criação de um plugin para leitura e escrita para o novo formato.
No mercado atual, que possui cerca de 200 formatos, o processamento centralizado é crucial. Sem esta capacidade, usuários finais poderiam se deparar com a busca de ferramentas específicas de Spatial ETL para cada combinação de diferentes formatos. O processamento centralizado assegura que uma única ferramenta possa ampliar os formatos suportados, independentemente da combinação de formato-a-formato necessária. Suportes futuros podem ser alcançados de uma forma rápida e os usuários finais podem contar com uma única ferramenta para atingir todas as necessidades, ao invés de selecionar ferramentas individuais para cada uma que possuam.
– Transformação semântica
A transformação semântica oferece uma abordagem completa para transformar dados de um formato para outro, considerando o modelo de dados original e combinando-o com uma estrutura que o formato de destino possa reconhecer.
Antes de entender como as ferramentas de Spatial ETL fazem isto, é importante entender um pouco mais sobre modelos de dados em relação a formatos. Diversos formatos carregam seus próprios modelos e outros, geralmente bancos de dados proprietários, permitem que as organizações escolham seus modelos de dados com algumas limitações como, por exemplo, geometrias que são permitidas e quantidade de dados que pode ser mantida no banco.
Em ambos os casos, os modelos de dados são muito bem ajustados aos formatos. Atingir a tradução semântica requer uma ferramenta de Spatial ETL que esteja atenta às regras e parâmetros de cada formato e tipo de dado, sendo capaz de transformar dados com o mínimo de envolvimento de um usuário. Esta capacidade envolve um rico manuseio dos tipos de geometrias disponíveis em diversos formatos e tipos de dados, para que a qualidade dos mesmos seja mantida.
Ferramentas de Spatial ETL proficientes ultrapassam esta barreira da tradução de duas maneiras: através da contagem automática para transformação de modelos de dados durante a conversão entre formatos que contenham conjuntos de estruturas; ou permitindo que usuários reestruturem modelos de dados de acordo com os requisitos de sua transformação – mas sem requerer que os usuários programem códigos.
– Transformação orientada a modelos
Ainda que conversões entre formatos sejam comuns, elas não são a única situação na qual os modelos de dados precisam ser levados em consideração. Uma pesquisa recente da Safe Software, feita com seus usuários, demonstrou que mais de 50% das tarefas de Spatial ETL não convertem dados de um formato para outro, mas sim reestruturam o modelo do dado para que o mesmo seja usado de forma mais eficiente.
Suas ferramentas permitem aos usuários realizar reestruturações de modelos de dados sem ter que desenvolver uma única linha de código, oferecendo uma interface amigável ao usuário, a qual permite que modelos sejam reestruturados visualmente.
Estes fluxos visuais podem ser modificados posteriormente, para tarefas futuras de transformação. Estas tarefas são frequentemente necessárias para manter dados atualizados, através do envio de novos dados que foram criados utilizando inúmeras aplicações para um conjunto de dados de destino centralizado.
Marco Fidos
Consultor em Spatial ETL e diretor da Inovação. Especialista em gestão empresarial pela FGV e em marketing pela UVA, mestrando em engenharia de produção e aeronáutica pelo ITA
mfidos@inovacaogis.com.br