cómo cargar múltiples files CSV en Múltiples Tablas

Tengo varios files CSV en la carpeta

Ejemplo:

Member.CSv Leader.CSv 

Necesito cargarlos en las tablas de la database.

He trabajado en ello usando ForEachLoop Container, Data FlowTask, Excel Source y OLEDB Destination

podemos hacerlo si utilizamos expresiones y restricciones de precedencia, pero ¿cómo puedo hacer uso de la tarea de script si tengo más de 10 files? Me quedé atrapado con este

Tenemos un problema similar, nuestra solución es una mezcla de las sugerencias anteriores.

  • Tenemos una serie de types de files enviados por nuestro cliente diariamente.
  • Estos tienen un patrón de nombre de file específico (por ejemplo, SalesTransaction20160218.csv, Product20160218.csv)
  • Cada uno de estos types de files tiene una tabla de "aterrizaje" provisional de la estructura que espera
  • Luego tenemos una tarea de script .net que toma el patrón de nombre de file y carga esos datos en una tabla de aterrizaje.
  • También hay varias comprobaciones que se realizan dentro del analizador csv: coincide con el número de columnas, algunas validaciones de datos básicos, antes de cargarlas en la tabla de aterrizaje

No somos lo suficientemente buenos progtwigdores .NET para poder analizar dinámicamente una estructura de files desconocida, crear tablas SQL y luego cargar los datos. Espero que sea factible, después de todo, eso es lo que hace el Asistente de import / export de SSIS (con alguna intervención manual)

Como alternativa a esto (el process es bastante delicado), estamos experimentando con un área de aterrizaje de datos HDFS, y luego nos permite usar herramientas analíticas como R para analizar los datos dentro de HDFS. Después de eso, se utiliza PIG para cargar los datos en SQL.