برای ارزیابی پرسشنامه‌ها می توان از روش‌های میدانی، روش‌های آزمایشگاهی و بررسی تخصصی استفاده کرد. در پست های گذشته به روش های آزمایشگاهی پرداختیم اکنون می خواهیم روش های میدانی را بررسی کنیم.
1. پیش آزمون
یکی از روش های ارزیابی میدانی که رایج و استاندارد است استفاده از پیش آزمون (pretests) است. پیش آزمون در حقیقت اجرای همان پرسشنامه و مطالعه روی آن در ابعاد کوچک تر و با نمونه کوچک تر برای شناسایی عیوب و اصلاح پرسشنامه است.
چندین سال است که پیشآزمون در تحقیقات نظرسنجی، به عنوان روش استاندارد نظرسنجی استفاده می‌شود. در تجزیه و تحلیل داده‌های پیشآزمون، طراحان نظرسنجی به دنبال مقادیر پاسخ خارج از محدوده یا مقادیری که با پاسخ‌های دیگر سازگار نیستند و یا ... هستند.
از مزایای این روش استفاده از محیطی واقعی برای تست پرسشنامه است. از اشکالات اصلی پیشآزمون ها این است که آن‌ها به طور کلی گران تر و زمان‌برتر از روش‌های تخصصی یا آزمایشگاهی هستند. علاوه بر این، بسیاری از مشکلات ممکن است شناسایی نشوند. مردم اغلب به سؤالاتی که درست درک نمی‌کنند نیز پاسخ می‌دهند.
2. آزمایشات تصادفی
طراحان نظرسنجی با آزمایش تصادفی(Randomized Experiments) روش‌های مختلف جمع‌آوری داده‌ها، روش‌های میدانی مختلف، یا نسخه‌های مختلف سؤالات را مقایسه می‌کنند.
به طور مثال برای مقایسه نسخه‌های مختلف سوالات، چند نمونه سوال در نظر می گیرند و از پیش آزمون برای بررسی بیشتر این چند نمونه استفاده می کنند. در نهایت نمونه سوالی که طبق نتیجه پیش آزمون اشکالات و ابهامات کم تری داشته است را انتخاب می کنند. وقتی بخش های تصادفی مورد بررسی ما سوالات و رویه های مختلف هستند به این روش آزمایش تقسیم آرا (split-ballot) نیز می گویند.
متاسفانه، اگرچه آزمایش تقسیم آرا می‌تواند به طور قطعی نشان دهند که نسخه‌های مختلف ابزارها یا روش ها، پاسخ های متفاوتی را تولید می‌کند، اما نمی تواند این سؤال را حل کنند که کدام نسخه، داده‌های بهتری را تولید می‌کند، مگر اینکه نتایج با داده های اعتبارسنجی خارجی مقایسه شود.
مزیت عمده‌ی آزمایش‌ها‌ی تصادفی این است که آن‌ها پتانسیل ارزیابی تأثیر تغییرات جمله‌بندی پیشنهادی یا سایر تغییرات در روش‌ها را به خوبی نشان می‌دهند.
3. تصاویر شرح دار
تصویرهای شرح‌دار(Vignettes) توضیحات مختصری هستند که در قالب تصویر برای توضیح بیشتر به پاسخ دهندگان نظرسنجی ارائه می شوند. تصاویر شرح دار را می توان در بسیاری از مراحل طراحی پرسشنامه، گروه‌های کانونی، مصاحبه‌های شناختی، پیش‌آزمون‌ها و... اجرا کرد.
استفاده از این روش و افزودن تصاویر شرح دار در ابتدای پرسشنامه یک روش نسبتاً ارزان برای کاهش خطا های احتمالی است اما ممکن است دارای ابهام باشد.
دیدگاه‌های شما:
اولین نفری باشید که دیدگاه خود را بیان می کند.