ارائه فرايندي جهت يكپارچه‌سازي و تشخيص تكرار براي بهبود كيفيت داده‌ها

اطلاعات در محيط‌ هاي كاري امروزي و تصميم گيري‌ ها نقشي اساسي دارند. با توجه به اهميت تصميم گيري، اطمينان از كيفيت داده‌ هاي موجود ضروري است. با استفاده از روش‌ هاي پاك‌سازي داده مي‌توان كيفيت داده‌ ها را بهبود بخشيد. در اين مقاله فرايندي در جهت كشف انواع ركورد هاي تكراري و متناقض، يكپارچه‌سازي و تشخيص تكرار براي بهبود كيفيت داده‌ها ارائه مي‌شود. فرايند پيشنهادي شامل بخش‌هايي ازجمله كد كردن داده‌ها و خوشه‌بندي با استفاده از الگوريتم اميد رياضي بيشينه‌سازي، ساخت نشانه براي ركوردها، ادغام روش‌هاي كدكردن داده‌ها و ساخت نشانه و ايجاد قوانين انجمني با استفاده از الگوريتم Fpgrowth است. نتايج آزمايش‌ها نشان مي دهد در فرايند پيشنهادي به‌طور متوسط معيار فراخواني 96%، صحت 99%، دقت 95% و امتياز اف 95% شده است. روش پيشنهادي با يك روش شناسايي تكرار و خطا، مقايسه شده است كه نتايج حاصل نشان‌دهنده‌ي افزايش 13% فراخواني، 1% صحت و 6% امتياز اف است.