Cómo utilizar el Importador Automático de MP-Web
Resumen General
Un Importador Automático (Auto Importer) es un proceso de importación altamente configurable que consta de observadores de carpetas que supervisan los archivos entrantes que deban ser procesados. Estos importadores se pueden configurar para admitir varios tipos de archivos y diseños. Este es el mecanismo central para importar datos de laboratorio de rutina, archivos provenientes de registradores automáticos y cualquier otro tipo de archivo conocido.
Como parte de la configuración del importador automático, se deberá asignar una ruta para la carpeta de destino y definir el tipo de archivo de importación esperado. La aplicación MonitorPro Service, que se encuentra instalada en su sistema, ejecutará las importaciones automáticas (y otras tareas asociadas, tales como cálculos, tareas programadas y programas de monitoreo).
Crear un Importador Automático
Pestaña General
Nombre
Introduzca un nombre adecuado para el importador
Ubicación
Indique la ruta de la carpeta en donde el importador buscará los archivos que deberá importar al ejecutarse.
Nota
Para clientes alojados en los servidores de EHS Data (Hosted), contáctese con support@ehsdata.com para obtener ayuda con la configuración de una nueva ruta de importación en su sistema.
Tipo de Importación
Defina el Tipo de importador: Básicamente de Lista o de Grilla.
Fecha
El formato de fecha se puede configurar para asegurar la compatibilidad con distintos países, por ejemplo, para adaptarse al formato mm/dd/aaaa de Estados Unidos.
Cultura del Importador
Se utiliza para establecer cómo se tratarán los resultados en relación con el separador decimal.
Separador de Columnas
Permite establecer el delimitador de columna para el archivo entrante. El valor predeterminado es coma.
Los archivos de datos entrantes a menudo suelen ser del tipo CSV. Esta extensión significa "Valores Separados por Comas" (Comma Separate Values), lo cual implica que las columnas del archivo se separan mediante comas. Esto puede corroborarse fácilmente al abrir el archivo con el Bloc de Notas.
Sin embargo, csv tambien puede significar "Valores Separados por Carácteres". En estos casos, se utiliza un carácter diferente para separar las columnas, por ejemplo, un Punto y Coma o una Tabulación (Tab Separate). Esto es común especialmente en países hispanos, ya que utilizan la coma como separador decimal en lugar del punto.
Delimitador de Cadena
Define qué contenido debe tratarse como una cadena de texto dentro del archivo. Esto resulta útil cuando se desea impidir que ciertos carácteres como una Coma o un Punto y Coma se lean como separadores de columnas. Sin esta cadena, los delimitadores de columna podrían leerse incorrectamente. Sin embargo, esta configuración se utiliza en muy raras ocasiones y en la mayoría de los casos debe mantenerse la configuración predeterminda, "Comillas Dobles" (Double-Quotes).
Comentario
Permite agregar información acerca de la configuración y la utilidad del importador.
Pestaña Predeterminados (Defaults)
En esta sección podrá especificar los valores predeterminados que desea aplicar al momento de la importación de datos y que no están presentes en el archivo de origen.
Ejemplo
Los archivos de una estación meteorológica normalmente no contienen una columna para indicar el nombre del Punto de Muestreo. Por lo tanto, el Punto de Muestreo se puede establecer como predeterminado (solo para este importador) y, a partir de entonces, cualquier archivo enviado al importador (y que no tenga una columna con el nombre del Punto de Muestreo) se resolverá automáticamente con el nombre indicado para la estación meteorológica.
Pestaña Comportamiento (Behaviour)
Esta pestaña permite establecer comportamientos específicos para cada importador. Las opciones predeterminadas representan los escenarios más comunes y se aplican al crear un nuevo importador.
Crear automáticamente nuevos objetos en la base de datos cuando no se encuentren coincidencias (Auto-create new objects in the database where no match found)
Si el importador no encuentra coincidencias entre el nombre del objeto existente en el archivo y el nombre del objeto dentro de la base de datos (o sus alias), marcar esta opción permitirá que el importador cree automáticamente un nuevo objeto con el nombre que no pudo resolver.
Advertencia
Esta configuración en general se utiliza al crear nuevas bases de datos, aunque hay algunas excepciones en las que se puede utilizar para la entrada de datos en curso. Para ello, los datos que ingresen a través de este importador deben ser bien comprendidos y consistentes. De lo contrario, esta configuración podría arruinar rápidamente una base de datos limpia y ordenada.
Importar automáticamente todos los datos válidos a la base de datos (Automatically commit all valid records to the database)
Por lo general, los usuarios querrán que se importen automaticamente todos los registros válidos de un archivo, y que solo sean retenidos en el Procesador de Importación (Import Processor) aquellos datos que no sean válidos y necesiten atención. Si esta opción se encuentra desactivada, el importador siempre retendrá todo el contenido del archivo. De lo contrario, sólo se retendrán aquellos datos que presenten errores y requieran de resolución por parte del usuario.
Las opciones subsiguientes son:
Retener el archivo completo en el Procesador de Importación - (Retain the complete file in the Import Processor)
Esta configuración retendrá el archivo completo en el Procesador de Importación cuando algún registro necesite resolución. Por lo general, esta opción solo se utiliza cuando los datos son altamente consistentes y cualquier problema con el archivo podría indicar la existencia de un problema más amplio por el cual resulta prudente retener todo el archivo.
Si alguna columna no se puede resolver, colocar el archivo completo en el Procesador de Importación - (If any Columns can't be resolved, place complete file in the Import Processor)
Similar a la opción anterior, pero en este caso sólo se conservará el archivo completo cuando exista algún problema con los encabezados, y no con las resoluciones de datos individuales.
Borrar los registros de datos no resueltos del Procesador de Importación - (Clear any uncommitted records for these files from the Import Processor once done)
Esta configuración se utiliza cuando desea borrar los registros retenidos en el Procesador de Importación que no han sido resueltos automáticamente. Esta opción es útil para descartar los datos no deseados de un archivo que no desea importar.
Precaución
Esta configuración descartará todos los datos no resueltos, y es útil para evitar la sobrecarga del Procesador de Importación con datos no deseados cuando las importaciones son consistentes. Si los datos no son consistentes, se debe tener cuidado, ya que esta configuración descartará cualquier dato que no se resuelva automáticamente.
Eliminar los datos duplicados del procesador de importación - (Clear any duplicate records for these files from the Import Processor once done)
Si activa esta opción, los datos duplicados se eliminarán automáticamente del Procesador de Importación.
Consejo
Esta configuración es conveniente cuando se importan archivos de registradores automáticos. La configuración se puede definir de modo tal que, por ejemplo, cada 1 hora se importen las lecturas de las últimas 3 horas. Si el sistema funciona correctamente, 2 horas de lecturas de datos se descartarán automáticamente como duplicados, y sólo se importarán los datos de 1 hora. En caso de que haya un problema con la entrega de los datos, el reenvío de los mismos cada 1 hora permitirá cubrir el vacío de datos que podría generarse, sin necesidad de intervenir manualmente.
No sobrescribir automáticamente los registros duplicados - (Do not automatically overwrite duplicate records to the database)
Los datos que tienen el mismo Punto de Muestreo, Variable, Fuente de Datos, Fecha y Hora, Tipo de Muestra, Referencia de Muestra y Referencia de Laboratorio se consideran datos duplicados. En caso de importar datos duplicados, esta configuración controlará lo que desea hacer con ellos. Por lo general, los usuarios desean que los registros duplicados se mantengan en el Procesador de Importación para su revisión y validación, ya que esta situación podría indicar un problema.
No sobrescribir automáticamente duplicados parciales - (Do not automatically overwrite partial duplicate records to the database)
Los datos que tienen el mismo Punto de Muestreo, Variable, Fuente de Datos, Fecha y Hora y Tipo de Muestra se consideran duplicados parciales. En caso de importar duplicados parciales, esta configuración controlará lo que desea hacer con ellos. Por lo general, los usuarios desean que los duplicados parciales se mantengan en el Procesador de Importación para su revisión y validación, ya que esta situación podría indicar un problema, o que los datos hayan sido importados anteriormente con una Referencia de Muestra o de Laboratorio diferente.
Aprobar automáticamente los registros resueltos por el Importador Automático - (Automatically approve any records committed via this auto import)
Es posible marcar los datos en estado "No Aprobado" una vez que hayan sido importados. Esto significa que los datos no estarán presentes en los Conjuntos de Datos (Datasets) mientras se encuentren en este estado. Los datos se podrán aprobar manualmente o automáticamente según las reglas y el flujo de trabajo establecidos, para que luego estén disponibles en Datasets y Reportes. A menos que tenga un flujo de trabajo implementado para este fin, se recomienda siempre activar esta opción para que los datos se aprueben automaticamente durante la importación.
Detectar automáticamente Variables y Unidades en múltiples filas de los encabezados - (Auto-detect variable & units over multiple header rows)
Active esta opción si el archivo de datos contiene los nombres y las unidades de las variables separadas en más de una fila. Tenga en cuenta que esta configuración sólo esta disponible para los Importadores de Grilla.
Nota
Cuando se activa esta opción, el importador identificará la primera fila como el nombre de la variable y la segunda fila como la unidad. De esta forma, a cada nombre se le agregará la unidad que se encuentre en la siguiente fila. Por ejemplo, el nombre de la variable "Temperatura" se encuentra en la primera fila, y su unidad (°C) está registrada en la segunda fila de la misma columna. De esta manera, el importador resolverá "Temperatura (°C)" como el nombre completo de la variable.
Aplicar reglas de conciliación de muestras cuando exista información de la muestra - (Apply sample reconciliation rules where sample information is present)
Si el archivo de datos contiene una Referencia de Muestra previamente configurada en Monitorpro, los datos se podrían resolver automáticamente sin necesidad de contar detalles acerca del Tipo de Datos y del Punto de Muestreo. Esta configuración es útil cuando no desea brindarle información al laboratorio acerca del lugar en el que se recolectó la muestra.
Asumir que la celda en blanco de una columnas es igual a la celda de la fila anterior - (Assume blank entries in appropriate columns are the same as the previous row)
Cuando una columna tenga celdas en blanco, esta configuración copiará el registro que contenga la celda ubicada más arriba. Esto se utiliza para cierto tipo de archivos de registradores automáticos, en donde los datos se proporcionan en una única celda de la columna, pero se asume el mismo valor para todas las filas debajo de la misma.
Grabar Comentario.
Si agrega un comentario aquí, este se agregará como comentario a cada uno de los datos importados.
Pestaña Archivos Adjuntos (Embed Files)
Los archivos "sin datos" (generalmente archivos de imagen o documentos .pdf) también se pueden importar a MonitorPro mediante el Importador Automático. Estos archivos se pueden importar sin vincularlos a ningún dato u objeto, siendo posible vincularlos manualmente luego de la importación. Para automatizar este proceso, puede utilizar ciertas reglas que lo ayudarán a vincular estos archivos a los objetos o datos de la base de datos.
Si planea utilizar distintos métodos de importación y vinculación de archivos, se recomienda crear distintos importadores e identificarlos adecuadamente para orientar a los usuarios en cuanto a la regla que se aplica en cada uno de ellos.
Filtro
Aquí se indican los tipos de archivo que desea adjuntar y a los cuales se les aplicarán las reglas de importación.
División de Archivos (Filename split characters)
Aquí se establecerá cómo MonitorPro debe dividir la cadena de texto en el nombre del archivo de manera tal de extraer el texto exacto que coincida con el nombre del objeto a vincular (Referencia de Laboratorio, Nombre del Punto de Muestreo, etc).
Coincidencia Mínima de Caracteres (Minimum character match)
Ayuda a reducir las falsas coincidencias al limitar el número de carácteres mínimos y necesarios utilizados para la búsqueda del nombre del objeto.
Nota
Bajo los siguientes escenarios, el nombre del archivo que desea adjuntar será verificado en función de la separación de palabras o cadenas de texto presentes en el nombre del archivo. Los nombres de los archivos que incluyan un espacio, un guión bajo o corchetes de apertura y cierre (paréntesis), se utilizarán para distinguir las cadenas y luego hacerlas coincidir con los nombres de los objetos de la base de datos (Punto de Muestreo, Referencia de Muestra, Referencia de Laboratorio).
Por ejemplo, el nombre del archivo "ALS_01012022_REF12345" posee tres cadenas de texto que el sistema utilizará para verificar si existen coincidencias con algún objeto. En este ejemplo, es probable que "REF12345" sea el texto clave para enlazar el archivo, el cual será verificado contra todas las Referencias de Muestra o Referencias de Laboratorio (según la configuración del autoimportador) existentes en la base de datos. Siguiendo con el ejemplo, es probable que no se encuentre coincidencia para las dos cadenas de texto restantes. Sin embargo, todas las cadenas serán verificadas contra el nombre del objeto configurado en el autoimportador, por lo que se debe tener precaución con el fin de evitar falsos resultados positivos.
Opciones
Vincular un archivo con un lote de datos importados utilizando el mismo nombre de archivo (pero extensión diferente) - Link the file to a batch of data brought in with the same name (but a different extension)
Se puede importar y vincular un archivo con un lote de datos, simplemente haciendo coincidir el nombre del archivo que desea adjuntar con el nombre del archivo de datos. En este escenario, el archivo se vinculará con todo el lote de datos importados a través de ese archivo.
Punto de Muestreo (Sample Point)
Esta opción se utiliza para vincular archivos con un Punto de Muestreo. Para ello, se debe denominar al archivo con el nombre largo o el nombre corto del Punto de Muestreo en Monitor Pro.
Referencia de Muestra (Sample Reference)
Esta opción utilizará la Referencia de la Muestra (la cual deberá estar indicada en el nombre del archivo), para vincularlo con los datos que contienen esa misma Referencia de Muestra.
Referencia de Laboratorio (Lab Reference)
Esta opción utilizará la Referencia de Laboratorio (la cual deberá estar indicada en el nombre del archivo), para vincularlo con los datos que contienen esa misma Referencia de Laboratorio.
Importador Macro (Import Macro)
Cuando corresponda, la pestaña Import Macro contendrá el código de programación utilizado para preprocesar los archivos que no se ajustan a un diseño de formato MonitorPro estándar, con el fin de convertirlos a un formato estándar previo a su importación.
Una macro puede ser necesaria para ciertos registradores automáticos (loggers), cuando el importador no puede resolver el formato nativo del archivo enviado por el registrador, incluso con las opciones de configuración mencionadas anteriormente en esta sección. EHS Data posee una biblioteca macros para distintos tipos de registradores automáticos que son de uso común. Comuníquese con su Administrador de Cuenta o envíe su consulta a support@ehsdata.com para saber más sobre las opciones disponibles.