|
|
|
|
|
 |
جستجو در مقالات منتشر شده |
 |
|
2 نتیجه برای Interrater Consistency
Wander Lowie، Houman Bijani، Mohammad Reza Oroji، Zeinab Khalafi، Pouya Abbasi،
دوره 26، شماره 2 - ( 6-1402 )
چکیده
Performance testing including the use of rating scales has become highly widespread in the evaluation of second/foreign oral assessment. However, few studies have used a pre-, post-training design investigating the impact of a training program on the reduction of raters’ biases to the rating scale categories resulting in increase in their consistency measures. Besides, no study has used MFRM including the facets of test takers’ ability, raters’ severity, task difficulty, group expertise, scale category, and test version all in a single study. 20 EFL teachers rated the oral performances produced by 200 test takers before and after a training program using an analytic rating scale including fluency, grammar, vocabulary, intelligibility, cohesion and comprehension categories. The outcome of the study indicated that MFRM can be used to investigate raters’ scoring behavior and can result in enhancement in rater training and validating the functionality of the rating scale descriptors. Training can also result in higher levels of interrater consistency and reduced levels of severity/leniency; however, it cannot turn raters into duplicates of one another, but can make them more self-consistent. Training helped raters use the descriptors of the rating scale more efficiently of its various band descriptors resulting in reduced halo effect. Finally, the raters improved consistency and reduced rater-scale category biases after the training program. The remaining differences regarding bias measures could probably be attributed to the result of different ways of interpreting the scoring rubrics which is due to raters’ confusion in the accurate application of the scale.
زهرا اروجی، هومن بیژنی، محمدرضا اروجی،
دوره 28، شماره 1 - ( 1-1404 )
چکیده
از آنجایی که ارزیابی مهارت زبان شفاهی به قضاوت انسانی متکی است، ارزیابان نقش حیاتی در آزمون مبتنی بر عملکرد ایفا میکنند. در میان متغیرهای مرتبط با ارزیاب، تجربه ارزیابی توجه قابل توجهی را به خود جلب کرده است. تحقیقات قبلی در مورد آموزش ارزیابان نشان داده است که ارزیابان بسیار سختگیر یا سهلگیر اغلب بیشترین سود را از آموزش میبرند که منجر به تغییر در رفتار ارزیابی میشود. با این حال، بسیاری از این مطالعات، FACETS را فقط برای یک یا دو جنبه اعمال کردهاند و به ندرت از طرحهای قبل و بعد از آموزش استفاده کردهاند. علاوه بر این، یافتههای تجربی متناقض بودهاند و هیچ مدرک روشنی در مورد اینکه آیا ارزیابان باتجربه یا بیتجربه، پایایی ارزیابی بیشتری را نشان میدهند، ارائه ندادهاند. مطالعه حاضر تأثیر آموزش ارزیابان را بر ارزیابان باتجربه و بیتجربه بررسی کرد. بیست ارزیاب، عملکرد شفاهی 200 آزموندهنده را قبل و بعد از شرکت در یک برنامه آموزشی ارزیابی کردند. نتایج نشان داد که آموزش، ثبات ارزیابان را افزایش داده و سوگیری در استفاده از دستههای مقیاس ارزیابی را کاهش داده است. یافتهها همچنین نشان داد که با توجه به دشواری حذف کامل تنوع ارزیابان، آموزش ارزیابان باید به جای تمرکز انحصاری بر توافق بین ارزیابان، بهبود پایایی درون ارزیاب را در اولویت قرار دهد. هم ارزیابان باتجربه و هم ارزیابان بیتجربه پس از آموزش، کیفیت ارزیابی بهتری را نشان دادند. با این حال، مصححان بیتجربه دستاوردهای بیشتری نشان دادند. این نتایج نشان میدهد که مصححان بیتجربه نباید صرفاً به دلیل تجربه محدود از ارزیابی کنار گذاشته شوند. از آنجایی که مصححان بیتجربه از نظر هزینه نیز مقرونبهصرفهتر هستند، یافتهها حاکی از آن است که مسئولان برگزاری آزمون ممکن است از سرمایهگذاری در برنامههای آموزشی مؤثر مصححان، سود بیشتری نسبت به تخصیص منابع قابل توجه به استخدام مصححان باتجربه ببرند.
|
|
|
|
|
|
|
|
|
