تشخيص حركات دست براي تعامل انسان و رايانه با استفاده از كدگذاري خط سير حركت و شبكه عصبي مصنوعي

Hand gesture recognition for human computer interaction using motion trajectory coding and artificial neural network

حركات دست انسان حالتي از تعامل غيركلامي است كه در ارتباط بين انسان و رايانه مورد استفاده قرار مي گيرد. شهودي و طبيعي بودن حركات دست مهمترين عامل ايجاد انگيزه در محققان است كه دست ها را براي بهبود تعامل بين انسان و رايانه مورد استفاده قرار دهند. در اين مقاله جهت تشخيص حركت دست، با استفاده از اختلاف فريم ها، دست به عنوان تنها شي متحرك در تصاوير جدا شده است. پس از آن، بردار ويژگي حركت دست استخراج شده است. اين بردار ويژگي به عنوان ورودي شبكه عصبي مصنوعي جهت طبقه بندي حركات انتقالي دست استفاده شده است. براي استخراج بردار ويژگي دو روش ارائه شده است. بردار ويژگي اول حاصل از كدگذاري خط سير انتهايي ترين پيكسل دست در طي فريم ها است. بردار ويژگي دوم، از دو هيستوگرام زاويه اي  براي كدگذاري دست استفاده مي كند. شناسايي شش حركت مختلف دست در داده هاي آزمايشي با نرخ بازشناسي 95/54 درصد با استفاده از بردار ويژگي اول و تشخيص اين حركات با نرخ بازشناسي 95/53 توسط بردار ويژگي دوم، كارايي بردارهاي ويژگي پيشنهادي در تشخيص حركات دست را نشان مي دهد. همچنين مقايسه ي بردارهاي ويژگي پيشنهادي با بردار ويژگي يك روش متداول، برتري روش هاي پيشنهادي را از نظر دقت، تعداد ويژگي ها و زمان آموزش طبقه بند نشان مي دهد.

Human hand movements are used in the nonverbal interaction between human and computers. Intuitive and natural hand movements is the most important factor motivating researchers to use the hands to improve the humancomputerinteraction. In this paper, for hand gesture recognition, hand as the only moving object in the video is detectedusing the difference between frames. After that, hand movement feature vector is extracted. This vector is used to detect hand gesture using artificial neural network. Two methods are proposed for featurevector extraction. The first method codes themotion trajectory of the final hand pixel in the frames. The second method uses two angle histograms. Identifying six different gestures with recognition rate of 95.54 percent using the first method and 91.53 percent using the second method, shows the efficiency of the proposed system. Also, the comparison between the proposed feature vectors with a conventional method shows the superiority of theproposed methods in terms of accuracy, the number of features, and classifier training time.