هم‌جوشي تطبيقي سيگنال‌هاي بيوالكتريك پيشاني و فيزيولوژيكي براي

هدف: در اين مطالعه، براي هم جوشي سيگنال هاي احساسي چندگانه، به منظور بهبود عملكرد سيستم تشخيص احساس، روش تطبيقي جديدي پيشنهاد شد. روش: به عنوان معيارهاي عاطفي، سه كانال سيگنال هاي بيوالكتريك پيشاني، به همراه معيارهاي فيزيولوژيكي (فشارحجم خون، هدايت پوست و فاصله ي زماني ضربان ها) به كار رفت. با نمايش قطعات تصويري از پيش انتخاب شده براي هر كدام از 25 شركت كننده در آزمايش، شش حالت احساسي پايه شامل خشم، غم، ترس، تنفر، خوشحالي و تعجب ايجاد شدند. در سيستم پيشنهادي تشخيص احساس، سيگنال هاي ثبت شده با ايجاد سه واحد طبقه بندي حالت هاي احساسي را به طور مستقل شناسايي كردند. سپس نتايج با اعمال مدل خطي وزن دار تطبيقي با هم ادغام شدند. به هر يك از واحدهاي طبقه بندي، وزني نسبت داده مي شود؛ به طوري كه اين وزن ها مربعات خطاي سيستم تركيبي را كمينه مي كنند. يافته ها: نتايج بيانگر مطلوب تر بودن عملكرد روش هم-جوشي پيشنهادي نسبت به هر يك از واحدهاي طبقه بندي منفرد و همچنين سيستم هاي ديگري است كه با هم‌جوشي ويژگي ها و هم جوشي واحدهاي طبقه-بندي با استفاده از روش بيشترين آرا طراحي شدند. با استفاده از روش طبقه بندي SVM، دقت شناسايي حالت هاي احساسي موردنظر 88 درصد به دست آمد. همچنين ِصرف اعمال سيگنال هاي پيشاني و يا سيگنال هاي فيزيولوژيكي در ساختار هم جوشي پيشنهادي نشان داد كه طراحي يك سيستم قابل اعتماد تشخيص احساس، بدون نياز به معيارهاي عاطفي ديگر ممكن است. نتيجه گيري: بر اساس نتايج، پيشنهاد مي شود تا در طراحي سيستم تشخيص احساس، از روش هم جوشي تطبيقي واحدهاي طبقه بندي استفاده شود

Introduction: In this study, we propose a new adaptive method for fusing multiple emotional modalities to improve the performance of an emotion recognition system. Method: Three-channel forehead biosignals, along with peripheral physiological measurements (blood volume pressure, skin conductance, and interbeat intervals), were utilized as emotional modalities. Six basic emotions, i.e., anger, sadness, fear, disgust, happiness, and surprise were elicited by displaying preselected video clips for each of the 25 participants in the experiment. In the proposed emotion recognition system, recorded signals with the formation of three classification units identified the emotions independently. The results were then fused using the adaptive weighted linear model to produce the final result. Each classification unit is assigned a weight that minimizes the squared error of the ensemble system. Results: The results showed that, the proposed fusion method outperformed all individual classifiers and emotion systems that were designed based on feature level fusion and classifiers fusion using the majority voting method. Using the support vector machine (SVM) classifier, an overall recognition accuracy of 88% was obtained in identifying the intended emotional states. Also, applying only the forehead or the physiological signals in the proposed fusion scheme indicates that designing a reliable emotion recognition system is feasible without the need for additional emotional modalities. Conclusion: The results suggest using adaptive fusion of classification units in the design of multimodal emotions recognition system