Base de connaissances et manuel

MP-Desktop

La saisie des données

Configuration de MP-Desktop pour l'importation automatique

Commentaire configurer les importateurs automatiques de MP-Desktop?

Vue d'ensemble

L'importateur automatique est un processus d'importation hautement configurable, composé de surveillants de dossiers qui recherchent les fichiers entrants à traiter. Les importateurs peuvent être configurés pour prendre en charge un certain nombre de types de fichiers et de mises en page. Il s'agit du mécanisme de base pour l'importation de données de laboratoire de routine, de fichiers d'enregistrement ou de tout autre type de fichier cohérent et connu.

Dans MoniteurPro ordinateur, l'utilisateur peut configurer des importations automatiques. Dans le cadre de la configuration de l'importation automatique, un chemin d'accès à un dossier et un format de fichier d'importation prévu sont saisis. Le service MoniteurPro sera installé pour exécuter les importations automatiques (et les tâches associées telles que la calculatrice, les tâches planifiées et le planificateur de surveillance).

S'il trouve un nouveau fichier dans un dossier mappé, il tente de l'importer.
Si le fichier peut être importé, il est déplacé vers un dossier de traitement, puis vers un dossier appelé "importé".
S'il ne peut pas importer le fichier (par exemple, le format n'est pas reconnu), il le déplacera dans un dossier appelé "non importé".
Lorsque les fichiers ont le bon format pour entrer dans la base de données, mais que les données sont incorrectes d'une manière ou d'une autre (par exemple, des dates invalides, des dépassements de limites physiques, des fautes de frappe, etc. ), le fichier sera importé dans une zone distincte de la base de données, appelée le processeur d'importation.

Le MP-Service surveille en permanence chaque dossier d'importation et tente d'importer chaque fichier dès qu'il est enregistré. Il est également capable d'importer plusieurs fichiers simultanément (limité à 5 par défaut), ainsi que d'exécuter les autres fonctions automatisées de MoniteurPro.

Créer un importation automatique

Créer ou localiser le dossier dans l'Explorateur Windows où les fichiers de données doivent être placés.

Typiquement, il y aura un certain nombre de dossiers d'importation, chacun acceptant différentes dispositions de fichier de données, avec différentes règles et scripts de pré-traitement assignés à chacun sont nécessaires.

Les dossiers d'importation les plus utiles seront situés sur des lecteurs réseau ou partagés, et non sur des ordinateurs locaux. Il est important de comprendre que le compte qui exécute le service MoniteurPro doit avoir accès à ces dossiers pour importer les fichiers. Dans le cadre de la configuration de MonitorPro, un membre du service informatique devra confirmer et autoriser les autorisations correctes.

Lors de la création des chemins d'accès aux dossiers d'importation, il est également important d'utiliser des noms de chemin complets et non des lecteurs mappés (comme D:\ par exemple), le chemin d'accès sera \SERVER\ par exemple.

MPDESK~2_img328

Ensuite, créez une importation automatique dans MoniteurPro Desktop et naviguez vers le Panneau de configuration - Importations automatiques.

Le modèle d'importation automatique indique à l'importateur le format des fichiers, l'emplacement des fichiers et d'autres options (voir ci-dessous).

Sélectionnez le type de format de fichier qui doit être placé dans le dossier créé à l'étape 1, par exemple Grille (en-tête variable). Consultez l'introduction de l'Auto Importer pour plus de détails sur les types de fichiers.

Double-cliquez pour ajouter une nouvelle importation automatique.

Onglet général

Nom: Entrez un nom significatif pour l'importateur

Emplacement: Le chemin du dossier où l'importateur cherchera de nouveaux fichiers lorsqu'il sera exécuté.

Mise en garde

Un partage est configuré sur le serveur 1 appelé 'MoniteurPro-Desktop_Importation'. Un utilisateur a un lecteur mappé appelé 'S:\MP-ordinateur Importation'. Si l'utilisateur crée une importation automatique et utilise 'S:\MP-ordinateur Importation', ce chemin est stocké dans la base de données pour que l'importateur l'utilise. Le serveur qui exécute l'importateur essaiera d'ouvrir 'S:\MP-ordinateur Importation', constatera qu'il n'y a pas de dossier à cet endroit et échouera.

Si l'utilisateur modifie le chemin pour qu'il devienne \server1\MP-Desktop Importation, le chemin sera reconnu par n'importe quel PC du réseau (à condition qu'il en ait la permission).

Type d'importation: Sélectionnez le format du fichier de données qui doit être placé dans le dossier, par exemple, 'Grid Variable Header' où les variables forment la ligne d'en-tête du fichier. Consultez la section sur les formats d'importation de fichiers de données pour plus de détails.

Onglet Defaults

L'onglet défaut vous permet de spécifier des valeurs par défaut pour les informations clés si elles ne sont pas présentes dans le fichier, ainsi que des détails supplémentaires sur le format du fichier.

Défauts

Exemple

Les fichiers provenant d'une gare météorologique ne contiennent normalement pas de colonne pour le 'Point d'échantillonnage'. Le point d'échantillonnage peut donc être prédéterminé (pour cette importation seulement) et par la suite, tous les fichiers importés de ce dossier (qui n'ont pas de colonne pour le point d'échantillonnage) seront classés par défaut comme "gare météo" dans MoniteurPro.

MPDESK~2_img331

Date

Pour la prise en charge de plusieurs pays, le format de la date peut être défini, le plus souvent pour permettre les formats mm/dd/yyyy basés sur les États-Unis.

Séparateur de colonnes

Spécifie les délimiteurs de colonne pour le fichier entrant (par défaut, une virgule).

Les fichiers de données entrants sont souvent au format .csv. csv signifie souvent "séparé par des virgules", ce qui signifie que dans le fichier, les nouvelles colonnes sont définies par une virgule comme séparateur. On peut le constater en ouvrant le fichier dans le Bloc-notes, par exemple.

Toutefois, csv peut signifier "séparé par des caractères", un caractère différent étant utilisé pour séparer les colonnes, par exemple un point-virgule ou une tabulation. Cela est courant, notamment dans les pays qui utilisent une virgule au lieu d'un point décimal.

Délimiteur de chaîne

Définit ce qui doit être traité comme une chaîne de texte dans le fichier. Envelopper les données dans un fichier est une approche courante, car cela empêche les caractères, tels qu'une virgule ou une demi-colonne, d'être lus comme un séparateur de colonne. Sans chaîne de caractères, les fichiers de délimitation pourraient être mal lus. Il n'est que très rarement remplacé par des guillemets doubles.

Commentaire d'enregistrement

Une entrée sera ajoutée ici à chaque champ de commentaire des lectures de données.

Comportement

L'onglet comportement permet aux utilisateurs de spécifier certaines règles pour chaque importateur. Une sélection d'options par défaut est définie lors de la création d'un nouvel importateur, ce qui représente les scénarios les plus courants/typiques.

Création automatique de nouveaux objets dans la base de données lorsqu'aucune correspondance n'est trouvée

Si l'importateur ne peut pas faire correspondre un nom dans le fichier à un nom dans la base de données, il vérifie cette l'option pour voir ce qu'il faut faire ensuite. Si elle est cochée, l'importateur créera l'objet qu'il ne peut pas résoudre.

Avertissement

Ce paramètre est presque toujours utilisé pour créer de nouvelles bases de données, bien qu'il y ait quelques exceptions où il peut être utilisé prudemment pour l'entrée de données en cours. Les données qui arrivent via cet importateur doivent être bien comprises et cohérentes, sinon ce paramètre peut rapidement ruiner une base de données bien ordonnée.

Enregistrer automatiquement tous les enregistrements valides dans la base de données

En général, les utilisateurs souhaitent que les enregistrements valides d'un fichier soient importés, et que seuls ceux qui ne le sont pas, et qui nécessitent une résolution, soient conservés dans le processeur d'importation. En cas d'erreur lors de l'importation des données, l'importateur vérifie ce drapeau pour savoir s'il doit le faire, ou bien retenir tout le contenu du fichier.

Les autres sous-options de cette option sont :

Ne pas enregistrer automatiquement les enregistrements en double dans la base de données - Les données qui ont le même emplacement, la même variable, la même source de données, la même date/heure, le même type d'échantillon, la même référence d'échantillon et la même référence de laboratoire sont considérées comme un enregistrement unique. Si des données importées sont considérées comme des doublons, ce paramètre contrôle la manière dont elles sont gérées. En général, les utilisateurs souhaitent que les enregistrements en double soient conservés dans le processeur d'importation pour examen, car cela peut indiquer un problème ou simplement que les données ont déjà été importées.

Conservez le fichier complet dans le processeur d'importation - Ce paramètre permet de conserver l'intégralité du fichier dans le processeur d'importation si certains enregistrements doivent être résolus. Cette option n'est généralement utilisée que si les données sont normalement très cohérentes et si un problème avec le fichier peut indiquer un problème plus large pour lequel il est prudent de conserver l'ensemble du fichier.

Si certaines colonnes ne peuvent pas être résolues, placez le fichier complet dans le processeur d'importation - Semblable à ce qui précède, mais seuls les en-têtes qui n'ont pas été résolus conserveront le fichier entier, et pas seulement les résolutions de données individuelles.

Effacer du processeur d'importation tous les enregistrements non engagés pour ces fichiers une fois l'opération terminée - Ce paramètre permet d'effacer du processeur d'importation tous les enregistrements restants qui ne sont pas résolus automatiquement. Ce paramètre peut être utilisé pour éliminer les données indésirables d'un fichier qui ne sont pas nécessaires à l'importation.

Prudence

Ce paramètre élimine toutes les données non résolues, ce qui est utile pour ne pas encombrer le processeur d'importation de données indésirables lorsque les importations sont cohérentes. Lorsque les données ne sont pas cohérentes, il faut faire attention car ce paramètre éliminera toutes les données non résolues automatiquement.

Effacer les enregistrements en double de ces fichiers du processeur d'importation une fois l'opération terminée - Comme ci-dessus, ce paramètre effacera tous les enregistrements valides, mais en double, du processeur d'importation.

Conseil

Ce paramètre est pratique lors de l'importation de fichiers d'enregistrement. La configuration peut être réglée de telle sorte que, par exemple, 3 heures de données sont importées pour chaque heure. Si le système fonctionne comme prévu, 2 heures de données seront systématiquement rejetées en tant que doublons et 1 heure sera importée. En cas de problème de livraison des données, le chevauchement des données peut combler le vide sans qu'il soit nécessaire de compenser manuellement l'interruption.

Approuver automatiquement tous les enregistrements engagés via cette importation automatique

MoniteurPro a un mécanisme pour mettre les données dans un état "non approuvé" à l'importation. Cela signifie que les données ne seront pas automatiquement présentes dans les ensembles de données standard si elles sont dans un état non approuvé. Les données peuvent être approuvées manuellement ou automatiquement sur la base de règles définies et d'un flux de travail, pour ensuite apparaître dans les ensembles de données standard et dans les rapports ultérieurs. À moins que ce flux de travail ne soit en place, cette case doit être cochée pour approuver les données à l'importation.

Détection automatique des variables et des unités sur plusieurs lignes d'en-tête

Cochez cette case si le fichier de données a des noms de variables répartis sur plus d'une ligne et qu'il s'agit d'une ligne d'en-tête. sur plus d'une ligne. Cette option est activée par défaut.

Remarque

Lorsque cette case est cochée, l'importateur identifiera la première ligne de nom de variable et ajoutera les valeurs trouvées dans la ligne suivante à chaque nom. Par exemple, la variable 'Temperature' peut avoir l'unité correspondante (°C) enregistrée sur la ligne suivante. L'importateur renvoie le nom de la variable "température (°C)".

Supposons que les entrées vides dans les colonnes appropriées sont les mêmes que celles de la ligne précédente.

Ce paramètre permet de copier les enregistrements du haut d'un fichier vers les lignes vides du bas. Ceci n'est typique que pour un petit nombre de fichiers d'enregistreurs où les données sont fournies dans une seule colonne mais supposées pour toutes les lignes du fichier.

Fichiers incorporés

Les fichiers non-données peuvent également être importés dans MonitorPro via l'Auto Importer. Cela peut être fait sans liaison, et le(s) fichier(s) est (sont) associé(s) manuellement à des objets ou des données dans la base de données. Pour rendre le processus plus automatisé, certaines règles peuvent être utilisées pour aider à lier ces fichiers de non données (généralement des images ou des documents pdf) à des objets dans la base de données.

Si vous prévoyez d'utiliser plusieurs de ces méthodes, il est conseillé de créer des dossiers d'importation distincts, nommés de manière appropriée pour guider les utilisateurs quant aux règles appliquées à chacun.

Lier le fichier à un lot de données importé avec le même nom (mais une extension différente)

Un fichier ne contenant pas de données peut être importé avec un nom correspondant à celui du fichier de données importé. Dans ce cas, le fichier sera lié au lot (fichier) de données.

Note

Dans les scénarios suivants, le nom du fichier sera vérifié sur la base de la séparation des mots ou des "chaînes" en tant que correspondances distinctes. Les noms de fichiers comprenant un espace, un trait de soulignement ou une parenthèse ouverte ou fermante (parenthèses) seront utilisés pour distinguer les chaînes de caractères afin de les faire correspondre aux objets (point d'échantillonnage, référence de l'échantillon, référence du laboratoire).

Par exemple, 'ALS_01012022_REF12345' générera trois chaînes à vérifier pour une correspondance. Dans cet exemple, il est probable que 'REF12345' soit la pièce requise et qu'elle soit vérifiée par rapport à tous les Sample Ref ou Lab Refs (selon le(s) paramètre(s)). Dans cet exemple, les autres chaînes ne correspondront probablement pas, mais toutes les chaînes seront vérifiées pour les objets choisis, d'où la nécessité de veiller à éviter les résultats faussement positifs.

Point d'échantillonnage

Cette option est utilisée pour faire correspondre des fichiers autres que des données à des points d'échantillonnage en nommant le fichier de la même façon que le nom long ou court d'un point d'échantillonnage dans moniteurPro.

Référence d'échantillon

Cette option utilise la référence de l'échantillon dans le nom du fichier non-donné pour le faire correspondre aux données incluant la référence de l'échantillon correspondante.

Référence de laboratoire

Cette option utilisera la référence de laboratoire dans le nom du fichier de non données pour correspondre avec les données incluant la référence de laboratoire correspondante.

Macro d'importation

L'onglet Macro d'importation peut contenir du code pour prétraiter les fichiers qui ne correspondent pas à un format MonitorPro standard et les convertir dans un format standard pour l'importation.

Cela peut être le cas avec certains enregistreurs, que l'importateur, bien que flexible, ne peut pas résoudre nativement, même avec les paramètres mentionnés précédemment dans cette section. EHS Data dispose d'une bibliothèque de ces macros pour un certain nombre de types d'enregistreurs courants. Veuillez contacter votre Account Manager ou support@ehsdata.com pour connaître les options disponibles.