|
|
|
|
|
 |
جستجو در مقالات منتشر شده |
 |
|
5 نتیجه برای Bias
مهناز سعیدی، ماندانا یوسفی، پوریا بقائی،
دوره 16، شماره 1 - ( 1-1392 )
چکیده
شواهد بیانگر این می باشد که تغییر پذیری در ارزیابی نگارش دانشجویان فقط نتیجه تفاوت مهارت نوشتاری آنها نیست بلکه عوامل بیرونی خاصی در این امر دخیلند و عوامل مرتبط با مصحح، فعالییت، موقعییت یا تعامل هر یک از اینها میتوانند در تصمیم گیریها و استنباطها در مورد توانایی نگارش فراگیران تاثیر بگذارند. هدف این تحقیق این است که مساله تغییرپذیری را در داوری مصحح به عنوان منبع خطای سنجش در ارزیابی نگارش فراگیران زبان انگلیسی به عنوان زبان خارجه مورد بررسی قرار دهد. به این منظور مقالات 32 دانشجوی ایرانی زبان انگلیسی بوسیله شش مصحح ارزشیابی و نتایج با استفاده از مدل رش و برنامه فست مورد تحلیل قرار گرفتند. یافته ها نشان دادند که تفاوتهای معنی داری در میزان سختگیری مصحح ها وجود دارد و تعامل مصحح با فراگیر باعث ایجاد تورش در ارزشیابی میشود. از آنجایی که ارزیابی مهارت نوشتن امری ذهنی میباشد و بر اساس داوری مصحح می تواند متغیر باشد، بررسی و شناخت عواملی که باعث عینی تر شدن این ارزیابی میشود امری ضروری به شمارمی رود. ذهنی بودن روند ارزیابی مهارت نوشتن تهدیدی برای روایی آزمون است و سبب می شود که نمره فراگیر نشان دهنده مهارت واقعی وی نباشد. این تحقیق نشان می دهد چطور ارزیابی می تواند کارامد و سودمند باشد و چگونه می توان انصاف و صحت عملکرد ذهنی را سنجید.
، ،
دوره 20، شماره 1 - ( 1-1396 )
چکیده
Seyyed Ali Ostovar-Namaghi، Shiva Nakhaee،
دوره 22، شماره 2 - ( 6-1398 )
چکیده
Content and Language Integrated Learning (CLIL) has recently been the focus of numerous studies in language education since it aims to overcome the pitfalls of form-focused and meaning-focused instruction by systematically integrating content and language. This meta-analysis aims to synthesize the findings of 22 primary studies that tested the effect of CLIL on language skills and components. Guiding the analysis are three questions: What is the overall combined effect of CLIL on language skills and components? How do moderators condition the effect of CLIL? To what extent the overall combined effect is conditioned by publication bias? The overall effect size was found to be g=0.81, which represents a medium effect size with respect to Plonsky and Oswald’s (2014) scale. The results of moderator analysis show that CLIL has the highest effect on students’ grammar and listening proficiency and in lower levels of education, especially in elementary schools. It also has the highest effect when combined with hotel management as the subject matter. Fail-safe N test of publication bias shows that the significant positive outcome of CLIL cannot be accounted for by publication bias. The findings have clear implications for practitioners, researchers and curriculum developers.
|
Wander Lowie، Houman Bijani، Mohammad Reza Oroji، Zeinab Khalafi، Pouya Abbasi،
دوره 26، شماره 2 - ( 6-1402 )
چکیده
Performance testing including the use of rating scales has become highly widespread in the evaluation of second/foreign oral assessment. However, few studies have used a pre-, post-training design investigating the impact of a training program on the reduction of raters’ biases to the rating scale categories resulting in increase in their consistency measures. Besides, no study has used MFRM including the facets of test takers’ ability, raters’ severity, task difficulty, group expertise, scale category, and test version all in a single study. 20 EFL teachers rated the oral performances produced by 200 test takers before and after a training program using an analytic rating scale including fluency, grammar, vocabulary, intelligibility, cohesion and comprehension categories. The outcome of the study indicated that MFRM can be used to investigate raters’ scoring behavior and can result in enhancement in rater training and validating the functionality of the rating scale descriptors. Training can also result in higher levels of interrater consistency and reduced levels of severity/leniency; however, it cannot turn raters into duplicates of one another, but can make them more self-consistent. Training helped raters use the descriptors of the rating scale more efficiently of its various band descriptors resulting in reduced halo effect. Finally, the raters improved consistency and reduced rater-scale category biases after the training program. The remaining differences regarding bias measures could probably be attributed to the result of different ways of interpreting the scoring rubrics which is due to raters’ confusion in the accurate application of the scale.
زهرا اروجی، هومن بیژنی، محمدرضا اروجی،
دوره 28، شماره 1 - ( 1-1404 )
چکیده
از آنجایی که ارزیابی مهارت زبان شفاهی به قضاوت انسانی متکی است، ارزیابان نقش حیاتی در آزمون مبتنی بر عملکرد ایفا میکنند. در میان متغیرهای مرتبط با ارزیاب، تجربه ارزیابی توجه قابل توجهی را به خود جلب کرده است. تحقیقات قبلی در مورد آموزش ارزیابان نشان داده است که ارزیابان بسیار سختگیر یا سهلگیر اغلب بیشترین سود را از آموزش میبرند که منجر به تغییر در رفتار ارزیابی میشود. با این حال، بسیاری از این مطالعات، FACETS را فقط برای یک یا دو جنبه اعمال کردهاند و به ندرت از طرحهای قبل و بعد از آموزش استفاده کردهاند. علاوه بر این، یافتههای تجربی متناقض بودهاند و هیچ مدرک روشنی در مورد اینکه آیا ارزیابان باتجربه یا بیتجربه، پایایی ارزیابی بیشتری را نشان میدهند، ارائه ندادهاند. مطالعه حاضر تأثیر آموزش ارزیابان را بر ارزیابان باتجربه و بیتجربه بررسی کرد. بیست ارزیاب، عملکرد شفاهی 200 آزموندهنده را قبل و بعد از شرکت در یک برنامه آموزشی ارزیابی کردند. نتایج نشان داد که آموزش، ثبات ارزیابان را افزایش داده و سوگیری در استفاده از دستههای مقیاس ارزیابی را کاهش داده است. یافتهها همچنین نشان داد که با توجه به دشواری حذف کامل تنوع ارزیابان، آموزش ارزیابان باید به جای تمرکز انحصاری بر توافق بین ارزیابان، بهبود پایایی درون ارزیاب را در اولویت قرار دهد. هم ارزیابان باتجربه و هم ارزیابان بیتجربه پس از آموزش، کیفیت ارزیابی بهتری را نشان دادند. با این حال، مصححان بیتجربه دستاوردهای بیشتری نشان دادند. این نتایج نشان میدهد که مصححان بیتجربه نباید صرفاً به دلیل تجربه محدود از ارزیابی کنار گذاشته شوند. از آنجایی که مصححان بیتجربه از نظر هزینه نیز مقرونبهصرفهتر هستند، یافتهها حاکی از آن است که مسئولان برگزاری آزمون ممکن است از سرمایهگذاری در برنامههای آموزشی مؤثر مصححان، سود بیشتری نسبت به تخصیص منابع قابل توجه به استخدام مصححان باتجربه ببرند.
|
|
|
|
|
|
|
|
|
