عنوان مقاله :
پايايي نمرات ترجمه‌هاي انساني با استفاده از ابزارهاي خودكار جانشين ارزيابي كيفيت ترجمه
عنوان به زبان ديگر :
Reliability of Human Translations’ Scores Using Automated Translation Quality Evaluation Understudy Metrics
پديد آورندگان :
كرمي، سميه دانشگاه اصفهان - دانشكده زبان‌هاي خارجي، اصفهان، ايران , نژادانصاري، داريوش دانشگاه اصفهان - دانشكده زبان‌هاي خارجي، اصفهان، ايران , حسابي، اكبر دانشگاه اصفهان - دانشكده زبان‌هاي خارجي، اصفهان، ايران
كليدواژه :
ارزيابي كيفيت ترجمه , ترجمه معيار , پايايي , نمره‌دهي خودكار , ارزيابي كيفيت ترجمه , ابزارهاي خودكار جانشين
چكيده فارسي :
با توجه به ماهيت فرايند ارزيابي ترجمه كه از لحاظ زمان، انرژي و هزينه قابل تامل مي‌باشد، بهره‌گيري از فن‌آوري‌هاي نوين در حوزه ترجمه ماشيني منطقي به نظر مي‌رسد. ابزارهاي خودكار جانشين ارزيابي كيفيت ترجمه يكي از اين فن‌آوري‌ها است كه در حوزه ترجمه ماشيني كاربرد دارد. اين پژوهش در صدد يافتن پاسخ اين سؤال است كه پايايي نمرات اين ابزارها در سطح واژگان به ترجمه‌هاي انساني (51 دانشجوي سال آخر رشته ترجمه در ايران) با استفاده از 1، 2، ... تا 5 ترجمه معيار به صورت مرحله به مرحله و جداگانه چه تغييري مي‌كند. لذا پژوهشي تجربي و كاربردي با رويكردي كمي براي محاسبه ميزان پايايي نمرات اين ابزارها در مقايسه با ميانگين نمرات 5 ارزياب متخصص انجام شد. ميزان رابطه همبستگي ميان اين دو مجموعه نمره (در حالت‌هاي مختلف استفاده از 1، 2، ... تا 5 ترجمه معيار) به منزله پايايي نمرات ابزار خودكار تفسير شده است. نتايج تحليل آزمون همبستگي پيرسون نشان داد كه استفاده از 5 ترجمه معيار در 80/37 درصد موارد منجر به بالاترين ميزان رابطه همبستگي شده است كه بيشتر از هر حالت ديگر در اين پژوهش است (4 ترجمه معيار (65/3درصد)، 3 ترجمه معيار (10.97 درصد)، 2 ترجمه معيار (70/31 درصد) و1 ترجمه معيار (85/15 درصد)). بنابراين، فرضيه پژوهش تاييد مي‌شود كه استفاده از ترجمه‌هاي معيار بيشتر منجر به رابطه همبستگي بالاتر و پايايي بيشتر نمرات مي‌شود. در عين حال، استفاده از 2 ترجمه معيار جايگاه دوم را از نظر دستيابي به بالاترين ميزان رابطه همبستگي دارد و فرضيه پژوهش را نقض مي‌كند.
چكيده لاتين :
Considering the costly nature of translation quality assessment in terms of time, money and energy, it seems logical to benefit from the modern technologies that are introduced in the field of machine translation (MT). Automated Translation Quality Evaluation Understudy Metrics (ATQEUMs) are one of these technologies that have revealed a promising application in assessing the MT output quality. This study, however, attempts to examine the reliability of the scores provided by the lexical ATQEUMs to human translated texts (i.e. the ones provided by 51 senior students of translator training programs in Iran) using 1, 2, …, 5 reference translations successively and separately. To this end, an empirical applied study is conducted following a quantitative approach to assess the reliability of the lexical ATQEUMs’ scores in comparison to the expert scorers’ scores. The higher the correlation between the sets of scores (in different stages of using 1, 2, …, 5 reference translations), the higher the reliability is interpreted to be. The results of the Pearson correlation coefficient analysis revealed that using 5 reference translations had led to the highest correlations in 37.80% of cases, which is more than the number for any other situation considered (i.e. using 4 reference translations (3.65%), 3 reference translations (10.97%), 2 reference translations (31.70%), and 1 reference translation (15.85%)). However, using 2 reference translations achieved the second position in having the highest correlations which contradicted the hypothesis that more reference translations would lead to higher correlations and reliability.
عنوان نشريه :
پژوهش هاي زبانشناختي در زبان هاي خارجي
