بنابراین، به طور خلاصه مطالعه حاضر برای توصیف شیوه‌هایی برای طراحی خزانههای سؤال برای آزمون‌های انطباقی کامپیوتری از دو قسمت مجزا ولی مرتبط تشکیل شده است:
در قسمت اول، از روش مطالعات شبیه‌سازی به منظور طراحی خزانههای سؤال بهینه‌ی درس ریاضی استفاده شد. این روش مجموعه داده‌هایی با ویژگی‌های مورد نظر در محیطی شبیه سازی شده و تحت کنترل با تکرارهای فراوان را تولید می کند (ریکیسی، 2003؛ وندر‌لیندن، 2006).
در قسمت دوم، خزانههای سؤال بهینه با خزانه‌ی سؤال عملیاتی که برای این درس ساخته شده‌بود ، بر اساس مجموعه‌ای از “ملاک‌های تجربی” ارزیابی و مقایسه شدند و خزانههای سؤال بهینه با خزانه سؤال عملیاتی، در عملکردشان مقایسه شدند. نحوه‌ی مقایسه به این صورت بود که، به‌منظور بررسی بهینه بودن خزانه‌ها، خطای اندازه گیری استاندارد شرطی در نقاطی با فواصل برابر در طول مقیاس در CAT های اجرا شده با خزانههای سؤال بهینه و خزانه سؤال عملیاتی ساخته شده،. محاسبه و با یکدیگر مقایسه شدند.
ملاک‌های ارزیابی خزانه‌ها عبارتند از:
ملاک‌های ارزیابی
میانگین طول آزمون
صحت طبقه‌بندی برآوردهای مهارت
دقت برآورد مهارت شامل
اریب:ر اساس معادله‌ی (3-1) محاسبه شد: و توانایی برآورد‌شده و واقعی آزمودنی i ام می‌باشد.
(3-1)
میانگین مجذور خطا (MSE): بر اساس معادله‌ی (3-2) محاسبه شد.
(3-2)
بررسی امنیت آزمون
درصد ارائه‌ی بیش از حد سؤالات
نرخ همپوشی سؤال
درصد ارائه‌ی کمتر از حد سؤالات
شیوه شبیه‌سازی داده‌ها
شبیه‌سازی طرح خزانه سؤال در پنج گام زیر صورت گرفت (خلاصه مراحل شبیه‌سازی در جدول 1-3 آورده شده است):
گام اول: مدل سازی شیوه‌های CAT: از آنجا‌که هدف این پژوهش، طراحی مدل بهینه‌ی خزانه سؤال برای برنامه سنجشی ویژه‌ای (درس ریاضی) بود، شیوه شبیه‌سازی به‌دقت، فرآیندهای روان‌سنجی‌ای که در آزمون عملیاتی به کار رفت را دنبال کرد.
آزمون با سؤالی آغاز شد که، دارای پارامتر دشواری متوسط (صفر) بود. زیرا بر اساس نظر (پارشال، اسپری، کالن و دیوی، 2002)، بهترین رویکرد برای انتخاب سؤال آغازین، سؤالی با دشواری متوسط به عنوان سؤال آغازین می‌باشد. به عبارتی “اگر هیچ اطلاعی در مورد سطح توانایی آزمودنی نداشته باشیم، بهترین حدس ما این است که او همانند اکثریت آزمودنی‌های دیگر عمل می‌کند.
الگوریتم انتخاب سؤال‌ها بر اساس روش بیشینه آگاهی (MI) و جدول آگاهی‌های مرتب شده قرار گرفت.