DEVELOPING OF EXTRACTION, TRANSFORMATION AND LOADING DATA WAREHOUSE TECHNIQUES FOR CANCER

Abstract

Abstract The Clinical Data Warehouse (CDWH) is a result of utilizing data warehouse technology in medical field for integrating clinical data. The CDWH integrates the relevant data according to medical goals from more than one disparate data sources. However, many of medical institutions do not utilize this large volume of clinical data. Furthermore, the harnessing of this huge data produces several issues need to addressed, which include: the data integration, data quality, and Extract, Transform and Load (ETL) process. The integration of data and data quality issues are observe through the ETL process. This research developed CDWH architecture to support clinical data analysis according clinical requirements. Additionally, ETL techniques developed to integrate clinical data and improve the quality of data in CDWH. The ETL techniques are responsible for the extraction and integration of data from several sources, cleansing, transformation, mapping, and loading data into a CDWH. The experiment conducted using cancer disease dataset collected from two Radiation and Isotopes Centers –Sudan. The datasets store in different format (SQL, MySQL, and XML). The ETL techniques evaluated using four parameters; subject-oriented, integrated, non-volatile and time-variant. In addition, the result shows that all data integration and quality problems are handled; the produced data relevant, complete, integrate, unique, valid, consistent and most importantly they are in an appropriate forms for data mining. Furthermore, the clinical data warehouse provides a rich analysis environment to improve the quality of diagnosis, clinical care, treatment recommendation decision making and support research work.

الملخص مستودع البيانات السريرية هو نتيجة لإستخدام تقانة مستودع البيانات فى المجال الطبى وذلك لتوحيد البيانات السريرية وتكاملها. نجد إن مستودع البيانات السريرية يُوحد بها البيانات المطلوبة (ذات الصلة بموضوع الدراسة) وفق الأهداف الطبية من أكثر من مصدر واحد غير متجانس البيانات. ولكن الكثير من هذه المؤسسات لا تستخدم هذا الكم من البيانات. علاوة على ذلك، نجد أن تسخير واستخدام هذا الكم الهائل من البيانات ينتج عنه عدة تحديات تتضمن: تكامل البيانات، جودة البيانات، وعملية الاستخراج، التحويل والتحميل. تمت معاجة قضايا تكامل وجودة البيانات من خلال عملية الاستخراج، التحويل والتحميل. فى هذا البحث تم تطوير معمارية لمستودع البيانات السريرية لدعم تحليل البيانات السريرية حسب الإحتياجات السريرية. بالإضافة إلي ذلك، تم تطوير تقتنيات الإستخراج، التحويل والتحميل لتُوحد البيانات السريرية وتحسين جودتها فى مستودع البيانات السريرية. بحيث نجد أن تقنيات الإستخراج ، التحويل والتحميل مسئولة عن إستخراج وتوحيد البيانات من عدة مصادر، وعن التنظيف، التحويل، رسم الخرائط وتحميل البيانات فى مستودع البيانات السريرية. إستخدمت التجربة مجموعه بيانات لمرض السرطان جمعت من مركزين للطب النووي والمعالجة بالأشعة بالسودان. ومجموعة هذه البيانات مخزنة فى نسق مختلف (SQL, XML, MySQL). تم استخدام أربعة معلمات لتقييم تقنيات الاستخراج، النقل والتحميل تضمنت:subject-oriented, integrated, non-volatile and time-variant. إضافة إلى ذلك، تظهر النتائج معالجة مشكلات تكامل كل البيانات السريريه وجودة البيانات التي تؤثر علي تصميم وتطوير أنظمة مستودع البيانات السريرية، حيث أن البيانات التي تم تخزينها في مستودع البيانات السريرية ذات الصلة بالموضوع المحدد، كاملة، متكاملة، فريدة من نوعها، صالحة، متجانسة والأهم من ذلك أنها تم تحويلها للأشكال المناسبة للتحليل واستخلاص النتائج. علاوة علي ذلك، يوفر مستودع البيانات السريريه بيئة تحليل غنية لتحسين جودة التشخيص والرعاية السريرية والعلاج للمساعدة في صنع القرار الطبي الفعال ودعم ودعم العمل البحثي.