Skip to main content

​
O que é Ingestão de Dados?

O sistema de Ingestão de Dados do gu1 permite que você importe dados de qualquer fonte (arquivos CSV, APIs, bancos de dados ou formatos personalizados) de forma transparente, definindo esquemas personalizados e mapeamentos de campos. Este sistema inteligente de mapeamento garante que seus dados sejam estruturados adequadamente para análise de risco.

​
Como Funciona

1

Defina Seu Esquema

Crie um esquema personalizado que descreva a estrutura dos seus dados com definições de campos, tipos e regras de validação.
2

Mapeie Campos

Crie mapeamentos de campos que traduzam os campos dos seus dados para o modelo unificado de entidades do gu1.
3

Transforme Dados

Aplique transformações (formatação, cálculos, condicionais) conforme os dados fluem pelo mapeamento.
4

Importe Entidades

Use o esquema mapeado para criar entidades via API ou upload em massa.

​
Recursos Principais

Esquemas Personalizados

Defina a estrutura dos seus dados com tipos de campos flexíveis e validação

Mapeamentos de Campos

Mapeie seus campos para o modelo unificado do gu1 com transformações

Detecção Inteligente

Detecte automaticamente tipos de campos, padrões e mapeamentos sugeridos

Processamento em Massa

Importe milhares de registros de forma eficiente com processamento em lote

​
Tipos de Esquema

O gu1 suporta múltiplos tipos de esquema para diferentes fontes de dados:
TipoDescriçãoCaso de Uso
databaseEsquemas de banco de dados relacionalIntegração direta com banco de dados
apiEstruturas de resposta de APIIntegração com APIs de terceiros
fileFormatos de arquivo (CSV, JSON, XML)Importações baseadas em arquivos
customEstruturas de dados personalizadasFormatos proprietários

​
Categorias de Esquema

Organize esquemas por domínio de negócio:
Contas bancárias, transações, demonstrações financeiras, dados de pagamento
Informações pessoais, documentos de identidade, dados KYC
Listas de sanções, PEPs, mídia adversa, dados regulatórios
Transações de pagamento, transferências bancárias, histórico de transações
Qualquer outro tipo de dado estruturado

​
Tipos de Campo

Tipos de campo suportados para definição de esquema:
TipoDescriçãoExemplo
stringDados de texto”Acme Corp”, “[email protected]”
numberValores numéricos1000, 99.99, -50
booleanVerdadeiro/falsotrue, false
dateData/timestamp”2025-10-03T12:00:00Z”
arrayLista de valores[“tag1”, “tag2”]
objectEstrutura aninhada{"city": "NYC", "country": "US"}

​
Tipos de Transformação

Aplique transformações durante o mapeamento de campos:

Direct

Copie o campo como está sem alterações

Calculate

Execute cálculos matemáticos

Format

Formate strings, datas, números

Conditional

Aplique lógica se/então baseada em condições

Lookup

Consulte valores de tabelas de referência

Custom

Expressões JavaScript personalizadas

​
Regras de Validação

Garanta a qualidade dos dados com validações integradas: 
{
  "constraints": {
    "minLength": 5,
    "maxLength": 100,
    "pattern": "^[A-Z0-9]+$",
    "enum": ["active", "inactive", "pending"]
  }
}
Restrições Disponíveis:
  • minLength / maxLength - Limites de comprimento de string
  • min / max - Intervalos de valores numéricos
  • pattern - Validação por expressão regular
  • enum - Lista de valores permitidos
  • required - Campo é obrigatório

​
Exemplo: Esquema de Dados Bancários

Aqui está um exemplo completo de definição de um esquema para dados de clientes bancários: 
{
  "name": "Banking Customer Data",
  "version": "1.0.0",
  "type": "database",
  "category": "financial",
  "schemaData": {
    "fields": [
      {
        "name": "customer_id",
        "type": "string",
        "required": true,
        "description": "Unique customer identifier",
        "constraints": {
          "pattern": "^CUST[0-9]{8}$"
        }
      },
      {
        "name": "full_name",
        "type": "string",
        "required": true,
        "description": "Customer full legal name",
        "constraints": {
          "minLength": 2,
          "maxLength": 200
        }
      },
      {
        "name": "account_balance",
        "type": "number",
        "required": false,
        "description": "Current account balance in USD",
        "constraints": {
          "min": 0
        }
      },
      {
        "name": "risk_level",
        "type": "string",
        "required": true,
        "description": "Risk classification",
        "constraints": {
          "enum": ["low", "medium", "high", "critical"]
        }
      },
      {
        "name": "onboarding_date",
        "type": "date",
        "required": true,
        "description": "Date customer was onboarded"
      },
      {
        "name": "kyc_verified",
        "type": "boolean",
        "required": true,
        "description": "Whether KYC verification is complete"
      }
    ],
    "metadata": {
      "sourceFormat": "database",
      "encoding": "UTF-8"
    }
  }
}

​
Melhores Práticas

  • Use nomes de campos descritivos que correspondam aos seus dados de origem
  • Inclua descrições detalhadas para campos complexos
  • Defina restrições de validação apropriadas
  • Versione seus esquemas (1.0.0, 1.1.0, etc.)
  • Comece com mapeamentos diretos, adicione transformações conforme necessário
  • Teste mapeamentos com dados de amostra antes da importação em massa
  • Documente a lógica de transformação personalizada
  • Trate valores nulos/ausentes com elegância
  • Valide dados na origem antes de importar
  • Use modo estrito para ambientes de produção
  • Monitore importações com falha e erros de validação
  • Implemente limpeza de dados para problemas conhecidos
  • Use processamento em massa para grandes conjuntos de dados (>1000 registros)
  • Defina tamanhos de lote apropriados (100-1000 registros)
  • Agende importações durante horários de menor movimento
  • Monitore tempos de processamento e ajuste tamanhos de lote

​
Casos de Uso Comuns

Importação de Arquivo CSV

Importe dados de clientes de arquivos CSV com detecção automática de campos

Integração com API

Conecte APIs de terceiros e sincronize dados em tempo real

Sincronização de Banco de Dados

Sincronize dados dos seus bancos de dados existentes

Onboarding Bancário

Fluxo de trabalho KYB completo com exemplo de mapeamento de dados

​
Endpoints da API

Criar Esquema

POST /custom-schemas

Listar Esquemas

GET /custom-schemas

Criar Mapeamento

POST /custom-schemas/mappings

Detecção Inteligente

POST /custom-schemas/detect-fields

​
Próximos Passos

1

Crie Seu Primeiro Esquema

Siga o guia de Esquemas Personalizados para definir a estrutura dos seus dados
2

Mapeie Seus Campos

Aprenda como mapear campos para o modelo do gu1 no guia de Mapeamentos de Campos
3

Importe Dados

Comece a importar entidades usando a API de Entidades