در فرآیند طراحی و تحلیل آزمون و پرسشنامه، معیارهای آماری چراغ راه ما هستند. این شاخصها کمک میکنند تا از کیفیت سؤالات و نمرهگذاری اطمینان حاصل کنیم، خطاها را کاهش دهیم و عدالت در آزمون را بسنجیم. استفاده هوشمندانه از این شاخصها، اعتبار و اعتبارسنجی آزمون را تقویت میکند و امکان بهبود مداوم محتوا را فراهم میآورد.
۱. شاخص پایایی آزمون
ضریب آلفای کرونباخ (Cronbach’s Alpha)
نشان میدهد سوالات یک آزمون چقدر با هم هماهنگ و یکپارچه هستند.
- رایجترین معیار پایایی برای آزمونهای چندگزینهای و لیکرت
- مقادیر بالای 0/7 نشاندهنده انسجام داخلی مناسب است (Tavakol & Dennick, 2011)
- در ابزارهای سنجش نگرش و مهارتهای نرم کاربرد فراوان دارد.
ضریب همبستگی دو نیمه (Split-Half Reliability)
سطح شباهت نمرات بین دو بخش مساوی از آزمون را میسنجد.
- آزمون را به دو نیمه تقسیم کرده و همبستگی نمرات را محاسبه میکند
- پس از بهدست آمدن ضریب اولیه، با استفاده از فرمول سپیرمن–براون اصلاح میشود.
۲. شاخصهای دشواری و افتراق سؤالات
شاخص دشواری (Difficulty Index)
درصد کسانی که به یک سوال پاسخ درست دادهاند را نشان میدهد.
- نسبت تعداد پاسخهای صحیح به کل شرکتکنندگان
- دامنه 0 (بسیار سخت) تا 1 (بسیار آسان)
- عدد ایدهآل برای آزمونهای تشریحی بین 0/3 تا 0/8 است.
ضریب افتراق (Discrimination Index)
تفاوت نمره گروههای قوی و ضعیف را روی هر سوال اندازهگیری میکند.
- تفاوت نمره گروه برتر و پایینترین گروه روی هر سؤال
- مقادیری بالاتر از 0/3 معمولاً نشاندهنده سطح افتراق مطلوب هستند.
۳. شاخصهای روایی محتوا و سازه
- روایی محتوا (Content Validity): با کمک «نظریه کلاسیک آزمون» (CTT) و نظر خبرگان صورت میگیرد. این شاخص تأیید میکند سوالات آزمون تمام جنبههای موضوع را پوشش میدهند.
- روایی سازه (Construct Validity): با تحلیل عاملی اکتشافی و تأییدی بررسی میشود. این شاخص اندازه میگیرد سوالات چقدر واقعاً آنچه را مدنظر است میسنجد.
- روایی معیار (Criterion-related Validity): این شاخص همبستگی نمرات آزمون با معیار خارجی (مثلاً نمره امتحان نهایی) را میسنجد.
۴. تحلیل عاملی در اعتبارسنجی آزمون
تحلیل عاملی اکتشافی (EFA)
ساختار پنهان بین سوالات را کشف و ابعاد آزمون را کاهش میدهد.
- شناسایی ساختار پنهان در سؤالات
- کاهش ابعاد و حذف سؤالاتی که بار عاملی کم دارند
تحلیل عاملی تأییدی (CFA)
مدل مفهومی آزمون را با دادههای واقعی آزمون میکند و میسنجد.
- آزمون مدل مفهومی از پیش تعیینشده
- سنجش شاخصهای برازش مانند CFI، RMSEA وSRMR
۵. نمودار تابع مشخصه آیتم (ICC):
- ابزار اصلی در مدلهای IRT
- نشان میدهد احتمال پاسخ صحیح به سؤال با افزایش توانایی آزموندهنده چگونه تغییر میکند.
- پارامترهای سهگانه (شیب، دشواری، حداقل شانس حدسی) کمک میکنند سؤالات را بهینه کنیم.
۶. کاربرد شاخصها در آزمونهای آنلاین
- پایایی و روایی آزمون آنلاین با نمونهگیری بزرگتر و تنوع در شرایط اجرا افزایش مییابد
- امکان بهکارگیری «تحلیل دادههای بزرگ» (Big Data Analytics) برای شناسایی الگوهای پاسخ
- استفاده از ابزارهای احراز هویت و کنترل تقلب برای بهبود اعتبار آزمون
نکات عملی برای طراحان آزمون
- پرسشنامه خود را با آزمون مقدماتی اجرا و شاخصها را محاسبه کنید.
- سؤالات با ضریب افتراق پایین را بازبینی یا حذف کنید.
- تحلیل عاملی دورهای انجام دهید تا سازهها همیشه معتبر باشند
نتیجهگیری
شاخصهای آماری در ارزیابی آزمون، ستون فقرات کیفیتسنجی هر ابزار سنجش محسوب میشوند. با بهکارگیری ضریب آلفا، شاخص دشواری و افتراق، تحلیل عاملی و مدلهای IRT، میتوانید آزمونهای آنلاین یا حضوری را بهینه کنید، اعتماد آزموندهندگان را جلب کنید و عملکرد آموزشی را ارتقا دهید.
منابع:
Lamm, K. W., Lamm, A. J., & Edgar, D. (2020). Scale development and validation: Methodology and recommendations. Journal of International Agricultural and Extension Education, 27(2), 24-35.
Reise, S. P., & Henson, J. M. (2003). A discussion of modern versus classical test theory. Measurement and Evaluation in Counseling and Development, 36(4), 181–187.
دیدگاههای شما:
اولین نفری باشید که دیدگاه خود را بیان می کند.