présentation
Il existe deux technologies complémentaires dans le domaine de traitements de données géographique et spatiales, les Systèmes d'information géographiques (SIG) qui sont les outils de traitement de données géographiques et les ETL spatiales qui publies et rends les données disponibles pour un "SIG".
Bien que les SIG existaient depuis plusieurs décennies, l'outils ETL n'a vue l'âge que maintenant en raison de volume importants de données géographiques qui les recueillies et les distribuent sous plusieurs formats concernés.
Les besoins d'utiliser un système d'information géographique dans les entreprises augmentent de plus en plus ce qui accélère l'utilisation de SIG par les spécialistes de grands projets de développement et d'aide à la décision.
Afin que les SIG peuvent effectivement utiliser des données et toutefois ils doivent êtres intéroperables avec ces données,l'interopérabilités qui peut être réalisée soit par transformation format-à-format ou par lecture directe,cependant le rôle de l'outil ETL spatiale est de mettre en disposition les données aux applications SIG.
Pour mieux comprendre le rôle inter-complémentaire de ces deux technologies, nous devons examiner le monde non-spatiales de systèmes d'information et management d'entreprise (SIM) et le rôle qui joue l' ETL dans ce domaine.
Qu'est ce que un ETL ?
ETL est l'acronyme de « Extract-Transforme-Load ».
Un ETL permet l'extraction, la transformation et le chargement de données depuis des sources diverses (Base de données,Fichiers,Flux,Webservice) vers des cibles préalablement définies par l'utilisateur.
De nombreux systémes de gestion de base de données sont supportés nativement en lecture/écriture (Oracle,Postgres/SQL,Ms Sql Server,DB,Mysql,.......).
De nombreux types de fichiers aussi peuvent egalement être lus ou écrits : Csv,EXEL,Txt,Xml,.....
Notons que la plupart des ETL disposent d'une interface graphique permettant l'élaboration des différents scénarios d'intégration.
Les rôles des Intégrateurs est ainsi quasiment facilitées,tant au niveau de la conception que de la l'intégration de traitement de données.
Bien que les ETL pour les traitements non-spatiales de données existent depuis un certain temps, l'outils ETL capables de gérer les caractéristiques des données spatiales a seulement apparu au début des années 1990.
Qu'est ce que un ETL Spatial?
les ETL Spatiales ont vue le jour dans l'industrie de SIG pour permettre l'interopérabilité (ou l'échange d'informations) dans l'industrie du large éventail d'applications de cartographie et des formats propriétaires. Toutefois, les ETL Spatiales sont également en train de devenir de plus en plus utilisée dans le domaine de systèmes d'information géographique et de management d'entreprise ainsi que pour aider a l'organisation et à l'intégreration des données spatiales et non spatiales, voire aussi le développement de la compétitivité stratégique d'affaires des ces
entreprises.
Traditionnellement, les applications a base de SIG ont des capacités de lire ou d'importer un nombre limité de formats de données spatiales, avec des librairies spécialisée dans la transformation des données,ou leurs concept est d'importer les données puis d'effectuer étape par étape de transformation et d'analyse dans l'application SIG lui-même, en revanche, l'ETL Spatial ne nécessite pas d'importer ou d'afficher les données seulement mais généralement de s'acquitter de ses tâches dans un unique processus d'extraction,transformation et chargement préalablement définis.
Avec les efforts visant à une plus grande interopérabilité au sein de l'industrie des SIG, de nombreuses applications SIG sont désormais intégrer des outils ETL spatiale au sein de leurs produits,notons l'interopérabilité des données par l'extension FME d' ArcGIS qui est un bon exemple de cela.
A quels usages et à quels utilisateurs répond un ETL spatial ?
1.Usages
Un ETL spatiale a un certain nombre d'utilisations qui est en faite:
- Nettoyage de données: L'élimination des erreurs dans un jeu de données.
- Fusion de données: Le regroupement de plusieurs jeux de données dans un cadre commun
le «common framework - Conflation» ou bien l'acte de combiner deux cartes dans une nouvelle carte qui est généralement effectué par l'enregistrement d'une zone de chevauchement entre le deux cartes est un bon exemple de celui la.
- Vérification des données: La comparaison de plusieurs jeux de données pour la vérification et l'assurance de qualité.
- La traduction de données: La conversion des données spatiales d'un format à un autre sans changement de structure ou de schéma.
2.Utilisations
Les ETL spatiales peuvent être utilisées dans plusieurs domaine d'organisation dans laquelle l'information géographique est une élément crucial de système d'information.
* Gouvernement
Les options sont pratiquement illimitées pour les gouvernements où la technologie spatiale permet a l'accès, le partage et la visualisation des données relatives aux personnes, lieux et services administratives.
L'analyse spatiale joue un rôle critique dans des domaines tels que la sécurité publique, développement économique, registres fonciers, les services de santé, la sécurité,la défense et le renseignement.
*Assurances
Le secteur des assurances profite de données spatiales. Par exemple, pour traiter les revendications, d'analyse spatiale, qui permet les réclamations pour localiser les transformateurs et les créances clients, de visualiser les zones de dommages, et de créer des cartes incident frontière.
Pour la souscription, les compagnies d'assurance utilisent l'analyse spatiale pour décider quels risques à assurer et à quel taux par l'identification des domaines de pointe potentiel de perte, de la cartographie historique des modes de revendications et de la segmentation à haut risque politiques, par région géographique.
*Institutions Financières
La technologie SIG offre un aperçu aux institutions financières sur leurs clients d'achat fidéles, les comportements financiers, et les besoins d'autres produits ou services qui lui ont permis de cibler leurs meilleures perspectives.
Les institutions financières utilisation des données spatiales pour la prospection du site pour déterminer l'emplacement des nouvelles succursales de banques et des guichets automatiques ainsi pour traiter les règlements fédéraux comme la loyauté des prêts au sein de la branche des zones où des données spatiales par la suite ils peuvent afficher la répartition des titulaires de comptes en ce qui concerne les entourant la démographie et la situation économique.
*Télécommunications/Location-Based Services (LBS)
Les Solutions ETL Spatiales fournis une technologie stratégique essentielle pour de nombreux fournisseurs d'information. Par exemple, les prestataires peuvent intégrer leurs données spatiales aux entreprises pour permettre aux personnelles d'avoir des informations d'assistance a distant , via téléphones cellulaires ou ordinateurs portables pour trouver les magasins ciblés et effectuer rapidement le suivi de produits, la numérisation et d'autres « Location Based Services »,exemple : les centres d'appels d'urgence qui alerte les centres de service d'accidents avec les endroits approprié au mieux d'intervenir rapidement et efficacement.
Système d' Informations Management et ETL
Avec l'augmentation de niveau d'utilisation de système d'informations et Management d'entreprise, les ETL ont connue la vie par les matures producteurs de « Business Intelligence » comme Informatica,Peravasive software,IBM,Oracle et Talend, ces outils donnent énormément d'avantages au système d'information et management d'entreprise.
Cependant avec cette analogie promu par ces canaux d'informations la connection de deux systèmes peuvent être bien assurée.
*Transformations de formats
ces canaux d'information sont utilisée pour changer les données d'une ou plusieurs formats d'un entrepôt de données source à une ou plusieurs formats d'un entrepôt de données destinations.
Ces entrepôts sont des jeux de données dans un système et une forme particulière.
Une fois l'entrepôt de données destination est remplis, le système sera accomplis.
*Accès directe
Ces canaux d'information sont utilisées pour la traduction directe d'une ou plusieurs données d'un entrepôts de données sources vers une ou plusieurs autres données d'un entrepôts de données destinations et dont il y' on a besoin.
Avec ces deux modes préalablement évoquées,il est parfois nécessaire d'avoir une transformation de données en temps réel et dans ce cas l'ETL est bien placés et non spécialement conçue pour répondre a ces besoins.
*Support des anciens applications
Souvent,quand une organisation migrent à des nouvelles applications avec de nouvelles technologies,ces anciens applications reste toujours supportée avant d'être remplacée.
Le but de l'ETL c'est de transformer le « buckup » de ces données et mettre un pont entre ces deux systèmes, en veillant à ce que les données sont bien structurées et présentée comme nécessité pour tous les systèmes en liaison.
*Chargement des données au départ
On migrant à des nouveaux système les ETL offrent un environnement homogène de manipulation de données entre les anciens et les nouveaux système.
*Solution multi-vendeurs
De nombreuses organisations utilisent des solutions qui dépasse plusieurs limites vendeur d'où l'exigence que les données soient partagées entre plusieurs systèmes.
*Partage de données
beaucoup d'organisations ont besoin de partager leurs données avec beaucoup d'autres organisation ( fournisseurs, clients, partenaires d'affaires,....etc).
L ' Outils ETL assurer que le partage de données entre ces différents
systèmes se produit facilement et avec précision
*Qualité d'assurance
Ce qui n'est pas couramment considérée comme une fonction ETL, mais il est souvent plus facile d'avoir un ETL comme outil de validation des données et de correction des problèmes avant qu'ils soient acheminées vers de nouveaux système.
*Lecture Direct
Fournir une interface unifiée afin que les applications peuvent directement accéder à des données hétérogènes qui doivent être intéropèrable.
Ici, le "T" (Transform) en ETL peut être extrêmement précieux en tant que applications exigent généralement que les données sont présentées dans un schéma ou vue spécifique avant de l'avoir utiliser.
Comme indiqué plus haut, Les SIM / SGBD constituent la destination de données et les ETL n'est rien d'autre que de canaux par lesquels les données se déplace.
*Les quatre use cases ETL
La fonction d'ETL peut se résumer avec les 4 « Use case »suivants:
obtenir les données correctes,aux systèmes correctes dans des structures correctes dans un temps correcte.
Si on examine ça à tour de rôle:
-Données correctes:
L'outil ETL doit être en mesure d'accéder aux données d'une grande variété de systèmes. En effet, la récupération correcte de données est susceptible d'avoir besoin de données provenant de multiples systèmes pour satisfaire un seul outil ETL.
-Systèmes correctes:
L'outil ETL doit être capable d'écrire des données sur de nombreux systèmes différents en une seule opération ETL ,ce que pourrait exiger que plusieurs systèmes sont mis à jour en une seule opération.
-Structures correctes:
L'outil ETL doit être en mesure de restructurer les données de sorte que quand ils est prévu de leurs faire passer au système de destination, ils serons directement utilisable par les applications qui luis ont besoin. c'est tous simplement le « dumping », des données dans le «bon système», ou les applications nécessitant que le système fonctionne dans un seul « Job » qui englobe la préparation de données et la préparation de toutes considérations ETL.
Les outils ETL doivent être en mesure d'effectuer des opérations comme la préparation d'un schéma de « mapping » des données, calculs, et d'autres types d'opérations de restructuration et de sélection.
-Temps correctes:
L'outil ETL doit être efficace et capable de tourner en mode « batch » ou dans le cadre de certains opérations « scheduled/triggered » C'est là que l'ETL devient partie d'un système au lieu d'être utilisés tous simplement pour faire migrer les données d'un système à un autre.
Pour certains systèmes, l'accès direct est le seul moyen de fournir des données dans un temps correcte.
Il existe deux technologies complémentaires dans le domaine de traitements de données géographique et spatiales, les Systèmes d'information géographiques (SIG) qui sont les outils de traitement de données géographiques et les ETL spatiales qui publies et rends les données disponibles pour un "SIG".
Bien que les SIG existaient depuis plusieurs décennies, l'outils ETL n'a vue l'âge que maintenant en raison de volume importants de données géographiques qui les recueillies et les distribuent sous plusieurs formats concernés.
Les besoins d'utiliser un système d'information géographique dans les entreprises augmentent de plus en plus ce qui accélère l'utilisation de SIG par les spécialistes de grands projets de développement et d'aide à la décision.
Afin que les SIG peuvent effectivement utiliser des données et toutefois ils doivent êtres intéroperables avec ces données,l'interopérabilités qui peut être réalisée soit par transformation format-à-format ou par lecture directe,cependant le rôle de l'outil ETL spatiale est de mettre en disposition les données aux applications SIG.
Pour mieux comprendre le rôle inter-complémentaire de ces deux technologies, nous devons examiner le monde non-spatiales de systèmes d'information et management d'entreprise (SIM) et le rôle qui joue l' ETL dans ce domaine.
Qu'est ce que un ETL ?
ETL est l'acronyme de « Extract-Transforme-Load ».
Un ETL permet l'extraction, la transformation et le chargement de données depuis des sources diverses (Base de données,Fichiers,Flux,Webservice) vers des cibles préalablement définies par l'utilisateur.
De nombreux systémes de gestion de base de données sont supportés nativement en lecture/écriture (Oracle,Postgres/SQL,Ms Sql Server,DB,Mysql,.......).
De nombreux types de fichiers aussi peuvent egalement être lus ou écrits : Csv,EXEL,Txt,Xml,.....
Notons que la plupart des ETL disposent d'une interface graphique permettant l'élaboration des différents scénarios d'intégration.
Les rôles des Intégrateurs est ainsi quasiment facilitées,tant au niveau de la conception que de la l'intégration de traitement de données.
Bien que les ETL pour les traitements non-spatiales de données existent depuis un certain temps, l'outils ETL capables de gérer les caractéristiques des données spatiales a seulement apparu au début des années 1990.
Qu'est ce que un ETL Spatial?
les ETL Spatiales ont vue le jour dans l'industrie de SIG pour permettre l'interopérabilité (ou l'échange d'informations) dans l'industrie du large éventail d'applications de cartographie et des formats propriétaires. Toutefois, les ETL Spatiales sont également en train de devenir de plus en plus utilisée dans le domaine de systèmes d'information géographique et de management d'entreprise ainsi que pour aider a l'organisation et à l'intégreration des données spatiales et non spatiales, voire aussi le développement de la compétitivité stratégique d'affaires des ces
entreprises.
Traditionnellement, les applications a base de SIG ont des capacités de lire ou d'importer un nombre limité de formats de données spatiales, avec des librairies spécialisée dans la transformation des données,ou leurs concept est d'importer les données puis d'effectuer étape par étape de transformation et d'analyse dans l'application SIG lui-même, en revanche, l'ETL Spatial ne nécessite pas d'importer ou d'afficher les données seulement mais généralement de s'acquitter de ses tâches dans un unique processus d'extraction,transformation et chargement préalablement définis.
Avec les efforts visant à une plus grande interopérabilité au sein de l'industrie des SIG, de nombreuses applications SIG sont désormais intégrer des outils ETL spatiale au sein de leurs produits,notons l'interopérabilité des données par l'extension FME d' ArcGIS qui est un bon exemple de cela.
A quels usages et à quels utilisateurs répond un ETL spatial ?
1.Usages
Un ETL spatiale a un certain nombre d'utilisations qui est en faite:
- Nettoyage de données: L'élimination des erreurs dans un jeu de données.
- Fusion de données: Le regroupement de plusieurs jeux de données dans un cadre commun
le «common framework - Conflation» ou bien l'acte de combiner deux cartes dans une nouvelle carte qui est généralement effectué par l'enregistrement d'une zone de chevauchement entre le deux cartes est un bon exemple de celui la.
- Vérification des données: La comparaison de plusieurs jeux de données pour la vérification et l'assurance de qualité.
- La traduction de données: La conversion des données spatiales d'un format à un autre sans changement de structure ou de schéma.
2.Utilisations
Les ETL spatiales peuvent être utilisées dans plusieurs domaine d'organisation dans laquelle l'information géographique est une élément crucial de système d'information.
* Gouvernement
Les options sont pratiquement illimitées pour les gouvernements où la technologie spatiale permet a l'accès, le partage et la visualisation des données relatives aux personnes, lieux et services administratives.
L'analyse spatiale joue un rôle critique dans des domaines tels que la sécurité publique, développement économique, registres fonciers, les services de santé, la sécurité,la défense et le renseignement.
*Assurances
Le secteur des assurances profite de données spatiales. Par exemple, pour traiter les revendications, d'analyse spatiale, qui permet les réclamations pour localiser les transformateurs et les créances clients, de visualiser les zones de dommages, et de créer des cartes incident frontière.
Pour la souscription, les compagnies d'assurance utilisent l'analyse spatiale pour décider quels risques à assurer et à quel taux par l'identification des domaines de pointe potentiel de perte, de la cartographie historique des modes de revendications et de la segmentation à haut risque politiques, par région géographique.
*Institutions Financières
La technologie SIG offre un aperçu aux institutions financières sur leurs clients d'achat fidéles, les comportements financiers, et les besoins d'autres produits ou services qui lui ont permis de cibler leurs meilleures perspectives.
Les institutions financières utilisation des données spatiales pour la prospection du site pour déterminer l'emplacement des nouvelles succursales de banques et des guichets automatiques ainsi pour traiter les règlements fédéraux comme la loyauté des prêts au sein de la branche des zones où des données spatiales par la suite ils peuvent afficher la répartition des titulaires de comptes en ce qui concerne les entourant la démographie et la situation économique.
*Télécommunications/Location-Based Services (LBS)
Les Solutions ETL Spatiales fournis une technologie stratégique essentielle pour de nombreux fournisseurs d'information. Par exemple, les prestataires peuvent intégrer leurs données spatiales aux entreprises pour permettre aux personnelles d'avoir des informations d'assistance a distant , via téléphones cellulaires ou ordinateurs portables pour trouver les magasins ciblés et effectuer rapidement le suivi de produits, la numérisation et d'autres « Location Based Services »,exemple : les centres d'appels d'urgence qui alerte les centres de service d'accidents avec les endroits approprié au mieux d'intervenir rapidement et efficacement.
Système d' Informations Management et ETL
Avec l'augmentation de niveau d'utilisation de système d'informations et Management d'entreprise, les ETL ont connue la vie par les matures producteurs de « Business Intelligence » comme Informatica,Peravasive software,IBM,Oracle et Talend, ces outils donnent énormément d'avantages au système d'information et management d'entreprise.
Cependant avec cette analogie promu par ces canaux d'informations la connection de deux systèmes peuvent être bien assurée.
*Transformations de formats
ces canaux d'information sont utilisée pour changer les données d'une ou plusieurs formats d'un entrepôt de données source à une ou plusieurs formats d'un entrepôt de données destinations.
Ces entrepôts sont des jeux de données dans un système et une forme particulière.
Une fois l'entrepôt de données destination est remplis, le système sera accomplis.
*Accès directe
Ces canaux d'information sont utilisées pour la traduction directe d'une ou plusieurs données d'un entrepôts de données sources vers une ou plusieurs autres données d'un entrepôts de données destinations et dont il y' on a besoin.
Avec ces deux modes préalablement évoquées,il est parfois nécessaire d'avoir une transformation de données en temps réel et dans ce cas l'ETL est bien placés et non spécialement conçue pour répondre a ces besoins.
*Support des anciens applications
Souvent,quand une organisation migrent à des nouvelles applications avec de nouvelles technologies,ces anciens applications reste toujours supportée avant d'être remplacée.
Le but de l'ETL c'est de transformer le « buckup » de ces données et mettre un pont entre ces deux systèmes, en veillant à ce que les données sont bien structurées et présentée comme nécessité pour tous les systèmes en liaison.
*Chargement des données au départ
On migrant à des nouveaux système les ETL offrent un environnement homogène de manipulation de données entre les anciens et les nouveaux système.
*Solution multi-vendeurs
De nombreuses organisations utilisent des solutions qui dépasse plusieurs limites vendeur d'où l'exigence que les données soient partagées entre plusieurs systèmes.
*Partage de données
beaucoup d'organisations ont besoin de partager leurs données avec beaucoup d'autres organisation ( fournisseurs, clients, partenaires d'affaires,....etc).
L ' Outils ETL assurer que le partage de données entre ces différents
systèmes se produit facilement et avec précision
*Qualité d'assurance
Ce qui n'est pas couramment considérée comme une fonction ETL, mais il est souvent plus facile d'avoir un ETL comme outil de validation des données et de correction des problèmes avant qu'ils soient acheminées vers de nouveaux système.
*Lecture Direct
Fournir une interface unifiée afin que les applications peuvent directement accéder à des données hétérogènes qui doivent être intéropèrable.
Ici, le "T" (Transform) en ETL peut être extrêmement précieux en tant que applications exigent généralement que les données sont présentées dans un schéma ou vue spécifique avant de l'avoir utiliser.
Comme indiqué plus haut, Les SIM / SGBD constituent la destination de données et les ETL n'est rien d'autre que de canaux par lesquels les données se déplace.
*Les quatre use cases ETL
La fonction d'ETL peut se résumer avec les 4 « Use case »suivants:
obtenir les données correctes,aux systèmes correctes dans des structures correctes dans un temps correcte.
Si on examine ça à tour de rôle:
-Données correctes:
L'outil ETL doit être en mesure d'accéder aux données d'une grande variété de systèmes. En effet, la récupération correcte de données est susceptible d'avoir besoin de données provenant de multiples systèmes pour satisfaire un seul outil ETL.
-Systèmes correctes:
L'outil ETL doit être capable d'écrire des données sur de nombreux systèmes différents en une seule opération ETL ,ce que pourrait exiger que plusieurs systèmes sont mis à jour en une seule opération.
-Structures correctes:
L'outil ETL doit être en mesure de restructurer les données de sorte que quand ils est prévu de leurs faire passer au système de destination, ils serons directement utilisable par les applications qui luis ont besoin. c'est tous simplement le « dumping », des données dans le «bon système», ou les applications nécessitant que le système fonctionne dans un seul « Job » qui englobe la préparation de données et la préparation de toutes considérations ETL.
Les outils ETL doivent être en mesure d'effectuer des opérations comme la préparation d'un schéma de « mapping » des données, calculs, et d'autres types d'opérations de restructuration et de sélection.
-Temps correctes:
L'outil ETL doit être efficace et capable de tourner en mode « batch » ou dans le cadre de certains opérations « scheduled/triggered » C'est là que l'ETL devient partie d'un système au lieu d'être utilisés tous simplement pour faire migrer les données d'un système à un autre.
Pour certains systèmes, l'accès direct est le seul moyen de fournir des données dans un temps correcte.
