ارزيابي قابليت استفاده نرم افزار: بررسي مقايسه اي پرسشنامه و عملكرد كاربران

Software Usability Assessment: Comparison of the Questionnaire Versus User Performance

قابليت استفاده يكي از معيارهاي مهم كيفيت نرمافزار است كه مي‌‌تواند در بهبود تجربيات كاربري نقش بسزايي داشته باشد. روش‌هاي مختلفي براي ارزيابي قابليت استفاده نرم‌افزار ارائه شده است. با توجه به تنوع روش‌ها و زمان و هزينه مورد نياز براي اجراي آن‌ها، روش مناسب جمع‌آوري اطلاعات و ارزيابي قابليت استفاده نرم‌افزار يكي از چالش‌هاي موجود در اين حوزه است. ‌‌در اين پژوهش، سهولت استفاده به‌عنوان زيرمجموعه‌اي از قابليت استفاده كه در آن تلاش مورد نياز كاربر براي انجام يك كار در نرم‌افزار ارزيابي مي‌شود، بر اساس دو روش نظرسنجي از طريق پرسشنامه و ارزيابي بر اساس عملكرد كاربران در يك آزمايش تجربي ارزيابي و نتايج اين دو روش مقايسه شده است. بدين‌منظور، دو نسخه مختلف از يك نرم‌‌افزار فروشگاه اينترنتي با كاركرد‌هاي يكسان توليد شده است. از كاربران خواسته شده عمليات مشخصي را در نرم‌افزار انجام دهند و به سؤالات يك پرسشنامه در ارتباط با سهولت استفاده از كاركرد‌هاي مختلف نرم‌افزار پاسخ دهند. حين انجام كاركرد‌هاي مورد نظر و از طريق ثبت وقايع، عملكرد كاربران در استفاده از نرم‌افزار ثبت و معيار‌هاي انجام موفقيت‌آميز عمليات، زمان انجام كار، تعداد گام‌‌ها در انجام كار، تعداد خطا و زمان صرف‌شده در برطرف كردن خطا اندازه‌گيري شده است. اين معيارها بر اساس معيارهاي قابل مشاهده و اندازه‌گيري سهولت استفاده در پژوهش‌هاي مرتبط انتخاب شده‌اند. نتايج اين پژوهش، بر اساس داده‌هاي 48 كاربر به دست آمده و در مورد يك كاركرد تعداد شركت‌كنندگان در آزمايش، به‌علت عدم كفايت داده براي دستيابي به سطح اطمينان مطلوب، به 70 كاربر گسترش يافته است. اين نتايج نشان مي‌‌دهد كه ارزيابي حاصل از پرسشنامه با عملكرد كاربران در معيار‌هاي مورد سنجش همبستگي ندارد. در برخي كاركرد‌ها، عملكرد كاربران در دو نسخه اختلاف معناداري نداشته، اما نظرات آن‌ها در پرسشنامه به‌صورت معناداري متفاوت بوده است. از سوي ديگر، در برخي ديگر از كاركرد‌ها، معيار عملكرد كاربران در دو نسخه داراي اختلاف معناداري است، در صورتي كه نتايج نظرسنجي اختلاف قابل توجهي را بيان نمي‌‌‌كند. بررسي عملكرد هر كاربر با نتايج پرسشنامه نيز همبستگي ميان اين اطلاعات را نشان نمي‌‌دهد. همچنين، طبق بررسي‌هاي انجام‌شده در اين آزمايش، صداقت كاربران در ارزيابي از طريق پرسشنامه مي‌‌تواند مورد ترديد باشد. زيرا كاربراني كه موفق به انجام كاركرد نشده‌‌اند، در بالاتر از 80 درصد از مواقع، سهولت استفاده را بالاتر از خوب ارزيابي كرده‌اند.

Usability is an important attribute for software quality that can play a significant role in improving user experience. Various methods have been proposed for evaluating the usability of software systems. Selecting a proper method for collecting information and evaluating the usability of a software application is a challenge due to the variety of methods, and consequently the time and cost required for their implementation. In this paper, ease of use is considered as a subset of usability and it is defined as the user’s effort to perform a task in the software application. We evaluate ease of use based on two methods; questionnaire and users’ performance in an empirical study and compare the results of these two methods. In this way, two different versions of an online store application with similar functionalities are produced and the users are asked to perform specific operations in the application and then answer questions regarding the ease of use of various software functionalities. During the experience, the interactions between user and the software are logged and consequently the user’s performance is measured based on the successful completion of the operation, the time of the task completion, the number of steps taken by the user, the number of errors, and the time taken to fix the error. These criteria have been selected based on observable criteria and ease of use measurement in relevant research. The results of this study is based on the data of 48 applicants except one of the functionalities which has been expanded to 70 applicants in order to achieve adequate level of confidence. Our results indicate that the evaluation of the questionnaire does not correlate with the performance of users in the measured criteria. In some functions, the performance of the users in two versions of the application do not have a significant difference, but their views are significantly different in the questionnaire. On the other hand, in some other functions, the performance of the users in two versions has a significant difference but the results of the questionnaire does not show a significant difference. Verifying the performance of each user with the results of his/her questionnaire does not indicate correlation between these two methods results. Also, according to the results of this study, the honesty of users in the questionnaire evaluation can be questioned, since 80% of the users who have not performed a functionality rated it higher than good in the questionnaire.