Procesos de datos / 05
Automatizar importaciones CSV. Tratar los errores de forma específica.
El archivo llega cada día. Alguien corrige columnas, lo carga y después revisa los mensajes de error. DataSource convierte esta tarea recurrente en una importación documentada con reglas claras para datos incompletos o incorrectos.
La situación inicial
El formato es sencillo. Las reglas de datos a menudo no lo son.
Un proveedor entrega artículos con punto y coma como separador y coma decimal alemana. Los códigos de artículo contienen ceros iniciales; las descripciones pueden incluir saltos de línea. Tratarlos como simples líneas de texto daña estos datos.
Verificamos las especificaciones reales del archivo: encoding, delimitación con comillas, nombres de columnas, valores obligatorios, fechas y significado de un archivo completo. La recepción puede realizarse por SFTP o mediante una carga protegida.
Qué hace DataSource
Recepción. Preparación. Transferencia.
Recepción de archivos
Detectar archivos completos de forma segura, por ejemplo mediante renombrado atómico acordado o un marcador asociado. No importar una transferencia aún en curso.
Preparación
Leer con un parser CSV, normalizar los campos según su tipo y verificar las claves operativas. Informar de errores claramente con referencias al archivo y a la fila o registro.
Transferencia
Implementar staging, vista previa e importación al destino según el sistema. Hash del archivo, ID de importación y registros confirmados evitan transferencias múltiples involuntarias.
Escenario técnico / Ejemplo ilustrativo
Conservar ceros iniciales y normalizar valores decimales.
Mapeo ilustrativo de una fila válida. El código de artículo permanece como cadena. Los precios no válidos no se convierten silenciosamente en null, sino que se tratan como errores corregibles.
Datos de ejemplo y reglas propuestas. Las interfaces y reglas empresariales concretas se verifican para su proyecto.
artikel;preis;land
004218;49,90;at
→ {
"sku": "004218",
"price": "49.90",
"countryCode": "AT"
}Gestión de errores, seguridad y operación
Importación parcial: verificación y operación.
Importación parcial
Decidir previamente si una fila incorrecta detiene toda la importación. Los registros dependientes pueden requerir una aprobación conjunta.
Repetición
Distinguir versión de archivo y clave de registro. Un archivo corregido puede procesarse sin volver a activar operaciones ya transferidas.
Operación
Monitorizar horarios previstos de entrega, archivos ausentes y cambios de columnas. No incluir credenciales ni contenido sensible de filas en informes generales de errores.
Preguntas operativas
Detalles importantes antes de implementar.
CSV · SFTP · Encoding · Mapeo · Validación · Importación
¿Puede procesarse igual un archivo Excel?
XLSX es otro formato con reglas propias de tipos y fórmulas. Podemos contemplarlo como entrada independiente; no basta con renombrarlo como CSV.
¿Qué ocurre con columnas nuevas?
Las especificaciones del archivo determinan si se admiten columnas adicionales. Las columnas obligatorias ausentes o los cambios de significado requieren una verificación específica.
¿Deben esperar siempre las filas sin errores?
Depende de la coherencia operativa. En artículos independientes puede ser adecuada una importación parcial; en un pedido con elementos relacionados, quizá no.
Para el análisis técnico
Empezar por su proceso concreto.
Proporcione un archivo original anonimizado, instrucciones actuales de importación, sistema de destino y mensajes de error habituales. Son especialmente útiles ejemplos con caracteres especiales, valores null y ceros iniciales.
En la primera conversación aclaramos los accesos disponibles, las responsabilidades sobre los datos y un primer flujo delimitado. Después acordamos alcance, responsabilidades y condiciones.
Para empezar bastan ejemplos anonimizados. No envíe contraseñas, tokens ni datos personales de producción en la primera consulta.
Tareas relacionadas
La próxima conexión en contexto.
Transformación de datos JSON / XML
Los datos se pueden leer técnicamente, pero aun así se rechazan. Los nombres de campos, tipos o estructuras no encajan con la aplicación de destino. Desarrollamos mapeos trazables que también contemplan valores vacíos, casos especiales y cambios del formato de origen.
Automatizar los procesos de datos de producto
El ERP proporciona datos maestros, el PIM textos y un proveedor características técnicas. Las listas manuales solo unen esta información temporalmente. Creamos un flujo de datos definido desde el campo de referencia hasta la exportación validada para cada canal.
Conectar bases de datos SQL
Reporting, portales o aplicaciones especializadas necesitan datos de otra base de datos. Diseñamos una conexión que contempla permisos de acceso, estados de datos coherentes y las reglas de las aplicaciones implicadas.