بهينه سازي وزنها در كرنل مركب براي طبقه بند مبتني بر نمايش تنك كرنلي

Optimization of the Weights in Multiple Kernel for Kernel Sparse Representation Based Classifier

طبقه‌بند مبتني بر نمايش تنك (SRC)يكي از الگوريتم‌هاي موفق در تركيب مفاهيم مطرح در دو حوزه نمونه‌برداري فشرده و آموزش ماشين است. در SRC، هر نمونه بر اساس تركيب خطي تنكي از نمونه‌هاي آموزشي نمايش داده مي‌شود. با توجه به موفقيت‌هاي اوليه اين الگوريتم، فرم كرنليزه آن (KSRC) نيز ارائه شده كه در آن داده‌ها با استفاده از تابع كرنل به طور غير صريح به فضاي ويژگي جديدي با ابعاد بالاتر نگاشت يافته و سپس SRC اعمال مي‌شود. در اين چارچوب، انتخاب كرنل مناسب اهميت زيادي دارد. استفاده از كرنل مركب به جاي استفاده از يك كرنل، بهترين راه حلي است كه تاكنون براي اين مسئله ارائه شده است. در اين پژوهش، براي افزايش سرعت و دقت طبقه‌بند، از كرنل مركب در ساختار KSRC استفاده شده است. كرنل مركب، با جمع وزن‌دار كرنل‌هاي پايه ايجاد مي‌شود كه وزن كرنل‌ها با به‌كارگيري معيارهاي متفاوتي تعيين مي‌شود. در اين مقاله، با هدف حداقل سازي خطاي بازسازي در چارچوب KSRC، روش‌هايي براي بهينه سازي وزن كرنل‌ها ارائه مي‌شود. بر اين اساس، ابتدا روش‌هاي پايه براي ساخت كرنل مركب كه تا كنون براي كاربرد KSRC استفاده نشده است، مورد بررسي قرار خواهد گرفت. سپس الگوريتمي، نوين جهت بهينه‌سازي كرنل مركب در چارچوب مسئله KSRC ارائه مي‌شود. براي بررسي عملكرد الگوريتم‌هاي پيشنهادي از دادگان واقعي موجود در پايگاه داده UCI و مجموعه اعداد دست نويس MNIST استفاده شده است. نتايج حاصله مويد عملكرد خوب الگوريتم پيشنهادي در شرايط مختلف و مقاوم‌تر بودن روش پيشنهادي در مواجهه با نويز است.

Sparse representation based classifier (SRC) is a well-known algorithm which combines the compressive sampling and machine learning concepts. In this classifier, each sample is represented by a linear and sparse combination of the associated training samples. Following the successful application of the SRC algorithm, the kernelized version of the classifier was also presented in which the data points are implicitly mapped into a high dimensional feature space. The SRC algorithm is then applied. Selection of a proper kernel is an important issue in such a kernel based algorithm. Using multiple kernel is a proper solution for this problem. In this study, in order to increase the accuracy and speed of the KSRC algorithm, we utilize a multiple kernel function within the framework of the KSRC. The multiple kernel is created by the weighted summation of a set of basis kernels where the kernel weights are determined using a set of different approaches. In this paper, we propose a novel method of determining the weights by using an optimization algorithm which is based on minimization of the reconstruction error of the KSRC. The proposed algorithm is evaluated considering real data sets from the UCI database and also hand written digits of the MNIST data sets. Our experimental results show the superiority of the proposed algorithm in different conditions. The proposed method is also more robust against additive noises.