Pular para conteúdo

Flat Data

Apresentação

Buscas integradas às bases de dados da ANAC usando Flat Data.

Buscas integradas às bases de dados abertos da ANAC usando Flat Data. Bases atualizadas de segunda a sexta, entre 05h e 08h da manhã.

O Flat Data é um padrão simples para importar conjuntos de dados e versioná-los. Basta apontar para um endereço HTTP (url/link) ou um banco de dados SQL em um arquivo de configuração de tipo YAML. Funciona com bases nos formatos: .csv, .tsv, .json, sql, .xlsx e outras.

Ele evita a complexidade de muitas ferramentas de manipulação de dados (ETL) em favor de algo amigável e flexível o suficiente para muitas cargas de trabalho, mas que não requer que a infraestrutura seja mantida num servidor próprio do usuário. Trata-se de uma ação automática e periódica no GitHub que pode buscar e transformar dados, posteriormente exibindo uma interface comum de consulta.

O Flat Data visa simplificar as tarefas diárias de aquisição e limpeza de dados. Ele é executado no GitHub Actions, portanto, não há infraestrutura para provisionar e monitorar. Cada fluxo de trabalho em Flat Data busca os dados que você especifica e, opcionalmente, executa um script de pós-processamento nos dados buscados. Os dados resultantes são confirmados em seu repositório se os novos dados forem diferentes, com uma mensagem de confirmação resumindo as alterações. Fluxos de trabalho em Flat Data geralmente são executados com um temporizador periódico, mas podem ser acionados por uma variedade de estímulos, como alterações em seu código ou acionadores manuais. É isso! Sem gráficos complicados de dependência de trabalho ou orquestradores. Sem dependências, bibliotecas ou gerenciadores de pacotes. Nenhum novo modelo mental para aprender e incorporar. Apenas dados perenes, diretamente no seu repositório.1

Instruções

Apresentação

O Flat Data evita a complexidade de muitas ferramentas de ETL em favor de algo simples e flexível o suficiente para muitas cargas de trabalho, sem requerer que a infraestrutura seja mantida pelos usuários.1

A ferramenta entrega várias funcionalidades para explorar os dados, tais como:

  • Filtragem múltipla
  • Ordenação
  • Cabeçalhos e colunas fixas
  • Diferenças entre versões específicas que alteraram os dados

Bases disponíveis

Os dados abertos da ANAC podem ser pesquisados e exibidos de forma versionada. Abra o visualizador Flat Viewer em tela cheia.

Tabelas disponíveis

Regulamentos (RBAC, IS, Resoluções, Portarias, Decisões...): - Todos os regulamentos - RBAC - IS

Produtos aeronáticos (Aeronaves, Drones, Motores...): - Aeronaves - Drones - Motores

Profissionais credenciados: - Profissionais de Aeronavegabilidade -

Tutorial

Opções disponíveis no topo da ferramenta

Repository

Indica o local onde estão armazenados as tabelas de dados, o controle de versão e as automações para tratamento das informações. É adequado para o acesso aos dados brutos e granulados.

Data file

Indica as tabelas de dados disponíveis. Use para selecionar o conjunto de dados que você quer pesquisar.

Commit

Indica as versões das tabelas de dados. Use para acessar o histórico dos dados.

Selecione uma versão para voltar no histórico:

Data source

Indica a fonte primária das tabelas de dados. Use para acessar a fonte original de onde os dados foram coletados.

Opções disponíveis no rodapé da ferramenta

Navegação sobre os dados alterados

Utilize as setas para navegar sobre as alterações nos dados históricos das tabelas. Por padrão são exibidas as alterações entre o dado mais atual (ou o commit selecionado) e o imediatamente anterior.

Changes: 
+113  rows
[*]72 rows
-60   rows

Showing 94.767 rows

Isso quer dizer, por exemplo, que a tabela drones passou pelas seguintes alterações:

Alterações: 
+113  linhas novas
[*]72 linhas alteradas
-60   linhas removidas

Exibindo 94.767 linhas

Linha nova:

Linha alterada:

Linha removida:

Exportação dos dados

Escolhe entre os formatos CSV ou JSON para exportar a visualização atual dos dados. O arquivo final considera os filtros aplicados na visualização.


Última atualização: 2023-10-23