Configuración de Auto Importadores en MP-Desktop

Cómo configurar un Auto Importador en MP-Desktop

Resumen General

El importador automático (Auto Importer) es un proceso de importación altamente configurable que consta de observadores de carpetas que supervisan los archivos entrantes que deban ser procesados. Los importadores se pueden configurar para admitir varios tipos de archivos y diseños. Este es el mecanismo central para importar datos de laboratorio de rutina, archivos provenientes de registradores automáticos y/o cualquier otro tipo de archivo conocido.

Dentro de MonitorPro Desktop, el usuario puede configurar importaciones automáticas. Como parte de la configuración del auto importador, se deberá asignar una ruta para la carpeta de destino y el tipo de archivo de importación esperado. La aplicación MonitorPro Service, que se encuentra instalada junto con MP-Desktop, ejecutará las importaciones automáticas (y las tareas asociadas, tales como la cálculos, tareas programadas y programas de monitoreo).

• MP-Service intentará importar cada archivo enviado en alguna de las carpetas asignadas a los importadores. Estas carpetas en general se denominan "To Import".
• Si el archivo pudo ser importado, este se moverá hacia una carpeta temporal de procesamiento y finalmente se almacenará en una carpeta llamada "Imported".
• Si el archivo no pudo ser importado, por ejemplo, debido a que el formato no pudo ser reconocido, este se moverá a la carpeta denominada "Not Imported".
• Cuando los archivos tienen el formato correcto para ser ingresados a la base de datos, pero los datos son incorrectos (por ejemplo, debido a fechas inválidas, incumplimiento de límites físicos, errores tipográficos, etc.), el archivo será enviado a un área distinta de la base de datos, llamada Procesador de Importación (Import Processor). Desde aquí el usuario podrá resolver cualquier problema que exista con los datos.

MP-Service estará observando permanentemente cada carpeta de importación e intentará importar cada archivo tan pronto como este sea enviado. El sistema también puede importar varios archivos al mismo tiempo (de forma predeterminada, hasta 5 archivos simultáneamente), así como ejecutar otras funciones automatizadas de MonitorPro.

Crear un Auto Importador

Cree o busque la carpeta en el Explorador de Windows en donde se colocarán los archivos con datos a importar.

Por lo general, habrá una serie de carpetas de importación, cada una de las cuales acepta diferentes diseños de archivo de datos, con diferentes reglas y secuencias de comandos de preprocesamiento asignadas a cada una.

Se recomienda que las carpetas de importación se ubiquen en la red o en unidades compartidas, no en computadoras locales. Es importante comprender que la cuenta que ejecuta MonitorPro Service debe tener acceso a estas carpetas para importar los archivos. Como parte de la configuración de MonitorPro, un miembro de IT deberá confirmar y permitir los permisos correctos.

Al crear las rutas de las carpetas de importación, también es importante utilizar los nombres de ruta completos y no sólo las unidades asignadas (como "D:\"), la ruta será \\SERVIDOR\, por ejemplo.

Luego navegue hasta Control Panel\Auto Imports para crear un Importador Automático en MonitorPro Desktop.

La plantilla del Importador Automático le dice al importador en qué formato están los archivos, dónde están ubicados y demas opciones adicionales (ver más abajo).

Seleccione el tipo de diseño de archivo que se espera que será enviado a la carpeta creada en el paso anterior, por ejemplo Grid (Variable Header). Consulte la Introducción sobre Importadores Automáticos para obtener más detalles acerca de los diferentes tipos de diseño de archivos.

Haga doble clic para crear un nuevo Importador Automático.

Pestaña General

Nombre: Ingrese un nombre claro y específico para el importador que desea crear.

Ubicación: Especifique la ruta de la carpeta en donde el auto importador buscará por nuevos archivos cada vez que se ejecute.

Tipo de Importación (Import Type): Seleccione el diseño del archivo de datos que espera colocar en la carpeta, por ejemplo, 'Grilla - Encabezados de Variable' (Grid Variable Header). En este caso las variables formarán los encabezados del archivo. Consulte la sección sobre formatos de importación de archivos de datos para obtener más detalles.

Pestaña Defaults

La pestaña Defaults le permite especificar valores predeterminados para la información clave que podría no estar presente en el archivo, así como configurar algunos aspectos sobre el formato del archivo.

Defaults

Fecha (Date)

Para asegurar la compatibilidad con varios países, es posible configurar el formato de fecha para permitir, por ejemplo, el formato mm/dd/yyyy utilizado ​​en EE. UU.

Separador de Columnas (Column Separator)

Permite especificar el delimitador de columna para el archivo entrante (el valor predeterminado es coma).

Los archivos de datos entrantes a menudo suelen ser del tipo .csv. Esta extensión se entiende como "separado por comas", lo cual significa que en el archivo las nuevas columnas se definen con una coma como separador. Esto puede verse claramente si el archivo se abre con el Bloc de Notas.

Sin embargo, .csv puede significar 'caracteres separados' con un carácter diferente usado para separar columnas, por ejemplo, un punto y coma o una tabulación. Esto es común, especialmente en países hispanos que utilizan una coma decimal en lugar de un punto decimal.

Delimitador de Cadena (String Delimiter)

Define lo que debe tratarse como una cadena de texto dentro del archivo. "Envolver" los datos dentro de un archivo es un enfoque común, ya que "detiene" los caracteres, como una coma o una semicolumna, que se leen como separadores de columna. Sin una cadena, los archivos delimitadores podrían leerse mal. Esta configuración rara vez debe modificarse y por defecto se estable en comillas (double-quotes).

Grabar Comentario (Record Comment)

Si se agrega un comentario aquí, este se agregará como comentario a cada uno de los datos importados

Pestaña Comportamiento (Behaviour)

La pestaña Behavior permite especificar ciertas reglas para cada importador. Se establece una selección predeterminada de opciones cada vez que se crea un nuevo importador, abarcando los escenarios más comunes.

Crear automáticamente nuevos objetos en la base de datos cuando no se encuentren coincidencias (Auto-create new objects in the database where no match found)

Si el importador no encuentra coincidencias entre el nombre del objeto existente en el archivo y el nombre del objeto dentro de la base de datos (o sus alias), marque esta opción si desea que el importador automaticamente cree un nuevo objeto con el nombre que no pudo resolver.

Importar automáticamente todos los datos válidos a la base de datos (Automatically commit all valid records to the database)

Por lo general, los usuarios querrán que se importen automaticamente todos los registros de datos válidos existentes en un archivo, y que sean retenidos en el Procesador de Importación (Import Processor) sólo aquellos datos que no sean válidos y necesiten de una resolución. Si esta opción se encuentra desactivada, el importador siempre retendrá todo el contenido del archivo. De lo contrario, sólo se retendrán aquellos datos que presenten errores y requieran de una resolución por parte del usuario.

Las opciones subsiguientes son:

No enviar automáticamente registros de datos duplicados a la base de datos - (Do not Automatically commit duplicate records to the database): Los datos que tienen el mismo Punto de Muestreo, Variable, Fuente de Datos, Fecha y Hora, Tipo de Muestra, Referencia de Muestra y Referencia de Laboratorio se consideran datos duplicados. En caso de que se importen datos duplicados, esta configuración controla cómo serán manejados. Por lo general, los usuarios desean que los registros duplicados se mantengan en el Procesador de Importación para su revisión, ya que esta situación puede indicar un problema, o bien, que simplemente los datos ya se habían importado anteriormente.

Retener el archivo completo en el Procesador de Importación - (Retain the complete file in the Import Processor): Esta configuración retendrá el archivo completo en el Procesador de Importación cuando algún registro necesite resolución. Por lo general, esta opción solo se utiliza cuando los datos son altamente consistentes y cualquier problema con el archivo podría indicar la existencia de un problema más amplio para el cual resulta prudente retener todo el archivo.

Si alguna columna no se puede resolver, colocar el archivo completo en el Procesador de Importación - (If any Columns can't be resolved, place complete file in the Import Processor): Similar a la opción anterior, pero en este caso sólo se conservará el archivo completo cuando exista algún problema con los encabezados, y no con las resoluciones de datos individuales.

Borrar los registros de datos no resueltos del Procesador de Importación - (Clear any uncommitted records for these files from the Import Processor once done): Esta configuración se utiliza cuando se desean borrar los registros de datos retenidos en el Procesador de Importación que no han sido resueltos automáticamente. Esta configuración se puede utilizar para descartar los datos no deseados de un archivo y que no se necesitan importar.

Borrar los registros de datos duplicados del Procesador de Importación - (Clear any duplicate records for these files from the Import Processor once done): Tal como se indica, bajo esta configuración se borrarán del Procesador de Importación todos los datos que sean válidos pero duplicados.

Aprobar automáticamente cualquier registro de datos resuelto por el Importador Automático - (Automatically approve any records committed via this auto import):

MonitorPro tiene un mecanismo para establecer los datos en estado "No Aprobado" durante el proceso de importación. Esto significa que los datos no estarán presentes en los Conjuntos de Datos (Datasets) mientras se encuentren en este estado. Los datos se pueden aprobar manualmente o automáticamente según las reglas y el flujo de trabajo establecidos, para que luego estén disponibles en Datasets y Reportes. A menos que tenga un flujo de trabajo implementado para este fin, se recomienda activar esta opción para que los datos se aprueben automaticamente durante la importación.

Detectar automáticamente Variables y Unidades en múltiples filas de los encabezados - (Auto-detect variable & units over multiple header rows)

Si no está activada de forma predeterminada, marque esta casilla si el archivo de datos contiene nombres de variables divididos en más de una fila. Esta opción sólo estará disponible para los importadores de Grilla.

Asumir que la celda en blanco de una columnas es igual a la celda de la fila anterior - (Assume blank entries in appropriate columns are the same as the previous row)

Cuando una columna tenga celdas en blanco, esta configuración copiará el registro que contenga la celda ubicada más arriba. Esto se utiliza para cierto tipo de archivos de registradores automáticos, en donde los datos se proporcionan en una única celda de la columna, pero se asume el mismo valor para todas las filas debajo de la misma.

Pestaña Archivos Adjuntos (Embed Files)

Los archivos que no contienen datos también se pueden importar a MonitorPro a través del importador automático. Estos archivos se pueden importar inicialmente sin vincularlos a datos u objetos, pero luego es posible vincularlos de forma manual. Para hacer que este proceso sea automático, se pueden utilizar ciertas reglas que lo ayudarán a vincular estos archivos (generalmente archivos de imagen o documentos .pdf) a los objetos o datos de la base de datos.

Si planea usar varios de estos métodos de importación, se recomienda crear carpetas de importación separadas, identificadas adecuadamente para guiar a los usuarios en cuanto a la regla que se aplica en cada una de ellas.

Vincule el archivo a un lote de datos importados con el mismo nombre de archivo (pero extensión diferente) - Link the file to a batch of data brought in with the same name (but a different extension)

Se puede importar y vincular un archivo que no sea de datos utilizando un nombre que coincida con el nombre del archivo de datos importado. En este escenario, el archivo se vinculará con el lote de datos que contenía el archivo.

Punto de Muestreo (Sample Point)

Esta opción se utiliza para vincular los archivos que no son de datos a los Puntos de Muestreo de Monitor Pro. Para ello se debe denominar al archivo con el nombre largo o el nombre corto del Punto de Muestreo.

Referencia de Muestra (Sample Reference)

Esta opción utilizará la Referencia de la Muestra (la cual deberá estar indicada en el nombre del archivo), para vincularlo con los datos que contienen esa misma Referencia de Muestra.

Referencia de Laboratorio (Lab Reference)

Esta opción utilizará la Referencia de Laboratorio (la cual deberá estar indicada en el nombre del archivo), para vincularlo con los datos que contienen esa misma Referencia de Laboratorio.

Importador Macro (Import Macro)

Cuando corresponda, la pestaña Import Macro contendrá el código de programación utilizado para preprocesar los archivos que no se ajustan a un diseño de formato MonitorPro estándar, con el fin de convertirlos a un formato estándar previo a su importación.

Una macro puede ser necesaria para ciertos registradores automáticos (loggers), cuando el importador no puede resolver el formato nativo del archivo enviado por el registrador, incluso con las opciones de configuración mencionadas anteriormente en esta sección. EHS Data posee una biblioteca macros para distintos tipos de registradores automáticos que son de uso común. Comuníquese con su Administrador de Cuenta o envíe su consulta a support@ehsdata.com para saber más sobre las opciones disponibles.