Skip to main content

​
¿Qué es la Ingesta de Datos?

El sistema de Ingesta de Datos de gu1 te permite importar datos sin problemas desde cualquier fuente (archivos CSV, APIs, bases de datos o formatos personalizados) definiendo esquemas personalizados y mapeos de campos. Este sistema de mapeo inteligente asegura que tus datos estén estructurados correctamente para el análisis de riesgo.

​
Cómo Funciona

1

Define tu Esquema

Crea un esquema personalizado que describa la estructura de tus datos con definiciones de campos, tipos y reglas de validación.
2

Mapea Campos

Crea mapeos de campos que traduzcan tus campos de datos al modelo de entidad unificado de gu1.
3

Transforma Datos

Aplica transformaciones (formato, cálculos, condicionales) mientras los datos fluyen a través del mapeo.
4

Importa Entidades

Usa el esquema mapeado para crear entidades vía API o carga masiva.

​
Características Clave

Esquemas Personalizados

Define la estructura de tus datos con tipos de campo flexibles y validación

Mapeos de Campos

Mapea tus campos al modelo unificado de gu1 con transformaciones

Detección Inteligente

Detecta automáticamente tipos de campo, patrones y mapeos sugeridos

Procesamiento Masivo

Importa miles de registros eficientemente con procesamiento por lotes

​
Tipos de Esquema

gu1 soporta múltiples tipos de esquema para diferentes fuentes de datos:
TipoDescripciónCaso de Uso
databaseEsquemas de base de datos relacionalIntegración directa con base de datos
apiEstructuras de respuesta de APIIntegración con APIs de terceros
fileFormatos de archivo (CSV, JSON, XML)Importaciones basadas en archivos
customEstructuras de datos personalizadasFormatos propietarios

​
Categorías de Esquema

Organiza esquemas por dominio de negocio:
Cuentas bancarias, transacciones, estados financieros, datos de pago
Información personal, documentos de identidad, datos KYC
Listas de sanciones, PEPs, medios adversos, datos regulatorios
Transacciones de pago, transferencias bancarias, historial de transacciones
Cualquier otro tipo de datos estructurados

​
Tipos de Campo

Tipos de campo soportados para la definición de esquemas:
TipoDescripciónEjemplo
stringDatos de texto”Acme Corp”, “[email protected]”
numberValores numéricos1000, 99.99, -50
booleanVerdadero/falsotrue, false
dateFecha/marca de tiempo”2025-10-03T12:00:00Z”
arrayLista de valores[“tag1”, “tag2”]
objectEstructura anidada{"city": "NYC", "country": "US"}

​
Tipos de Transformación

Aplica transformaciones durante el mapeo de campos:

Directo

Copia el campo tal cual sin cambios

Calcular

Realiza cálculos matemáticos

Formatear

Formatea cadenas, fechas, números

Condicional

Aplica lógica if/then basada en condiciones

Búsqueda

Busca valores en tablas de referencia

Personalizado

Expresiones JavaScript personalizadas

​
Reglas de Validación

Asegura la calidad de datos con validaciones integradas: 
{
  "constraints": {
    "minLength": 5,
    "maxLength": 100,
    "pattern": "^[A-Z0-9]+$",
    "enum": ["active", "inactive", "pending"]
  }
}
Restricciones Disponibles:
  • minLength / maxLength - Límites de longitud de cadena
  • min / max - Rangos de valores numéricos
  • pattern - Validación de expresión regular
  • enum - Lista de valores permitidos
  • required - Campo obligatorio

​
Ejemplo: Esquema de Datos Bancarios

Aquí hay un ejemplo completo de definición de un esquema para datos de clientes bancarios: 
{
  "name": "Banking Customer Data",
  "version": "1.0.0",
  "type": "database",
  "category": "financial",
  "schemaData": {
    "fields": [
      {
        "name": "customer_id",
        "type": "string",
        "required": true,
        "description": "Unique customer identifier",
        "constraints": {
          "pattern": "^CUST[0-9]{8}$"
        }
      },
      {
        "name": "full_name",
        "type": "string",
        "required": true,
        "description": "Customer full legal name",
        "constraints": {
          "minLength": 2,
          "maxLength": 200
        }
      },
      {
        "name": "account_balance",
        "type": "number",
        "required": false,
        "description": "Current account balance in USD",
        "constraints": {
          "min": 0
        }
      },
      {
        "name": "risk_level",
        "type": "string",
        "required": true,
        "description": "Risk classification",
        "constraints": {
          "enum": ["low", "medium", "high", "critical"]
        }
      },
      {
        "name": "onboarding_date",
        "type": "date",
        "required": true,
        "description": "Date customer was onboarded"
      },
      {
        "name": "kyc_verified",
        "type": "boolean",
        "required": true,
        "description": "Whether KYC verification is complete"
      }
    ],
    "metadata": {
      "sourceFormat": "database",
      "encoding": "UTF-8"
    }
  }
}

​
Mejores Prácticas

  • Usa nombres de campo descriptivos que coincidan con tus datos de origen
  • Incluye descripciones detalladas para campos complejos
  • Establece restricciones de validación apropiadas
  • Versiona tus esquemas (1.0.0, 1.1.0, etc.)
  • Comienza con mapeos directos, agrega transformaciones según sea necesario
  • Prueba los mapeos con datos de muestra antes de la importación masiva
  • Documenta la lógica de transformación personalizada
  • Maneja valores nulos/faltantes con elegancia
  • Valida los datos en el origen antes de importar
  • Usa modo estricto para entornos de producción
  • Monitorea importaciones fallidas y errores de validación
  • Implementa limpieza de datos para problemas conocidos
  • Usa procesamiento masivo para conjuntos de datos grandes (>1000 registros)
  • Establece tamaños de lote apropiados (100-1000 registros)
  • Programa las importaciones durante horas de menor actividad
  • Monitorea tiempos de procesamiento y ajusta tamaños de lote

​
Casos de Uso Comunes

Importación de Archivo CSV

Importa datos de clientes desde archivos CSV con detección automática de campos

Integración de API

Conecta APIs de terceros y sincroniza datos en tiempo real

Sincronización de Base de Datos

Sincroniza datos desde tus bases de datos existentes

Onboarding Bancario

Flujo de trabajo KYB completo con ejemplo de mapeo de datos

​
Endpoints de API

Crear Esquema

POST /custom-schemas

Listar Esquemas

GET /custom-schemas

Crear Mapeo

POST /custom-schemas/mappings

Detección Inteligente

POST /custom-schemas/detect-fields

​
Próximos Pasos

1

Crea tu Primer Esquema

Sigue la guía de Esquemas Personalizados para definir la estructura de tus datos
2

Mapea tus Campos

Aprende cómo mapear campos al modelo de gu1 en la guía de Mapeos de Campos
3

Importa Datos

Comienza a importar entidades usando la API de Entidades