سنجش انطباقی کامپیوتری، ایجاد سؤالات بهینه

نمودار 2-10: توزیع سؤال براساس b-bins و ab-bins
ایجاد سؤالات بهینه:
کیفیت سؤالاتی که در یک خزانه‌ی سؤال قرار دارد، تعیین کننده‌ی مهمی برای موفقیت برنامه‌ی سنجش انطباقی کامپیوتری (CAT) می‌باشد. برای ایجاد سؤالات بهینه در رویکرد اکتشافی باید از مدل‌هایی برای شبیه‌سازی پارامترهای سؤال استفاده شود. چهار رویکرد براساس ایده‌های گو (2007)، مک برید و وایس (1977)، برای ایجاد خصوصیات بهینه‌ی سؤال وجود دارد. رویکرد اول، روش تصادفی (R)، نامیده می‌شود، رویکرد دوم، روش پیش‌بینی (PM)، رویکرد سوم، روش آمیخته‌ی تصادفی و پیش‌بینی (MRP) نامیده می‌شود، درحالی‌که، رویکرد چهارم، روش کمینه‌ی آگاهی تست (MTI) می‌باشد. ایجاد سؤالات بهینه در مدل تک پارامتری با مدل دو و سه پارامتری متفاوت است و نیاز به کاربرد این مدل‌ها ندارد. از این‌رو، این مدل‌ها تنها برای مدل دو و سه پارامتری کاربرد دارند. در زیر ابتدا مفهوم سؤال بهینه در مدل سه پارامتری (که مدل دو پارامتری را نیز در خود جای می‌دهد) شرح داده می‌شود، سپس این سه رویکرد بررسی می‌شود.
روش‌هایی برای ساخت سؤالات در شبیه‌سازی خزانه‌ی سؤال با مدل سه پارامتری لوجستیک 3PLM
در خلال شبیه‌سازی خزانه‌ی سؤال، این فرض وجود دارد که، هر سؤالی که برای برآورد جدید ایجاد می‌شود، میزان حداکثر آگاهی‌اش در آن سطح می‌باشد. بنابراین ab-bin سؤالی که شبیه‌سازی می‌شود، از طریق پارامترهای a و b آن شناخته می‌شود. این مسیر مشابه ایجاد سؤال در شبیه‌سازی مدل 1PLM می‌باشد، که در آن سؤالی بهینه است که پارامتر b آن به برآورد جدید نزدیک باشد و در آن سطح بیشترین میزان آگاهی را ایجاد کند. ولی توجه کنید که در مدل سه پارامتری لوجستیک، چنین سؤالی لزوماً سؤالی نیست که نسبت به سؤالات دیگر، حداکثر آگاهی در برآورد جدید ایجاد کند. این روش شبیه‌سازی سؤال، فرآیند شبیه‌سازی را ساده می‌کند، این ساده کردن با درنظر نگرفتن این واقعیت که سؤالاتی که به یک bin تعلق دارند می‌توانند میزان آگاهی بیشتری نسبت به سؤالاتی که به bin دیگری که به سطح مورد نظر نزدیک است، ایجاد کنند، صورت می‌گیرد. با ‌این‌وجود، با فرض این‌که سؤالات بهینه، سؤالاتی هستند که حداکثر میزان آگاهی در برآورد ایجاد می‌کند، محاسبه‌ی ab-bin مربوط به سؤالات، معادل با محاسبه‌ی میزان آگاهی‌ایی است که به‌طور تقریبی برای برآورد جدید مورد نیاز است. واقعیت این است که سؤالات در یک bin، ممکن است میزان آگاهی بیشتری نسبت به سؤالات در bin دیگری ایجاد کنند، این مورد نشان خواهد داد که، پس از شبیه‌سازی خزانه‌ی سؤال تعدیل باید انجام گیرد(گو و ریکیسی، 2007).
ایجاد پارامترهای سؤال در طول فرآیند شبیه‌سازی خزانه‌ی سؤال
به‌منظور این‌که، ویژگی‌های بهینه‌ی سؤال، برای یک برنامه‌ی CAT عملیاتی هدف از لحاظ کاربردی مفید و واقع‌بینانه باشد، اطلاعات پیشین برای شبیه‌سازی، تجزیه و تحلیل می‌شوند. اطلاعات پیشین شامل، توزیع‌های پارامترهای سؤالات عملیاتی، رابطه‌ی بین پارامترهای سؤال، اعتبار تست، و برآوردهای توانایی آزمودنی‌ها می‌باشد. روش‌های ایجاد پارامتر سؤال عبارتند از:
روش تصادفی (R)
در موقعیتی از آزمون CAT عملیاتی که در آن پارامترهای a و b از لحاظ آماری با یکدیگر همبستگی ندارند و مستقل از یکدیگرند، به‌کار می‌رود. برای ایجاد یک سؤال بهینه، با استفاده از روش R، گام‌های زیر دنبال می‌شود:
برای یک سؤال خاص،
پارامتر و از طریق توزیع‌های هدف مخصوص‌شان ایجاد می‌شوند.
باتوجه به اینکه هم وهم درحال حاضر معلوم بودند، با استفاده از معادله (2-21) محاسبه می‌شود، درصورتی که برآورد جدید توانایی می‌باشد، که در معادله‌ی (2-20) نشان داده شده است:.
(2-20)
در نتیجه
(2-21)
روش مدل پیش بینی(PM)
روش PM براین واقعیت استوار است که، پارامترهای a و b به‌طور معناداری با‌یکدیگر همبسته‌اند (چانگ و وندرلیندن، 2003؛ وندرلیندن، اسکرامز و اسچنیپکا، 1999). به‌علاوه، واریانس پارامتر a با افزایش پارامتر b، افزایش می‌یابد، که این مشخص می‌کند که با استفاده از تبدیلات لگاریتمی، پارامترهای a به‌طور خطی با پارامترهای b مرتبط می‌شوند (گو و ریکیسی، 2007). برای مدل‌یابی کردن این روابط، پارامتر a برای یک سؤال شبیه‌سازی شده برابر با تابع رگرسیونی تبدیل لگاریتمی پارامتر a روی پارامتر b می‌باشد (ریکیسی، 2004)، که در معادله‌ی (2-22) و (2-23) نشان داده شده است:
(2-22)
(2-23)
که دارای توزیع نرمال می‌باشد. با اضافه‌کردن یک عبارت خطا در تابع رگرسیونی، پراکندگی در پارامترهای a در روش برآورد خزانه‌ی سؤال، بوجود می‌آید. از آنجا که پارامتر c، به‌طور معناداری با پارامتر b همبسته نیست، فرض می‌شود که از توزیع هدف در خزانه‌ی عملیاتی پیروی می‌کند. تابع رگرسیون و پراکندگی پارمترهای c، از طریق پارامترهای که از سؤالات عملیاتی بدست می‌آید، برآورد می‌شود، این پارامترها، برآوردهای واقعی پارامترهای سؤال از یک برنامه‌ی سنجش خاص هستند. در این روش، در طول شبیه‌سازی خزانه‌ی سؤال، سؤالات در سه مرحله ایجاد می‌شوند:
بعد از هر پاسخ، برآورد ، بدست می‌آید، و این برآورد به عنوان تقریبی از پارامتر b برای سؤال بهینه‌ی بعدی به‌کار می‌رود.