ملاک‌های ارزیابی خزانه‌های سؤال شبیه‌سازی شده، اعمال اصلاحاتی برای روش کنترل مواجهه

همچنان‌که نمودار 2-12 نشان می‌دهد، هر ستون b-bin را نشان می‌دهد، و تعداد سؤالات مورد نیاز در آن bin، در ردیف دوم نشان داده‌می‌شود. ردیف‌های زیرین، ID یا شماره‌های سؤال با عدد مربوطه را نشان می‌دهد. همچنین سؤالات بر اساس میزان آگاهی که در حدود b-bin ایجاد می‌کنند، مرتب می‌شوند. سؤالاتی که در ردیف‌های بالاتری قرار دارند، سؤالاتی هستند که بیشترین آگاهی را ایجاد می‌کنند. در عمل، سؤالاتی که در مرتبه بالاتری رتبه‌بندی می‌شوند، بدون توجه به bin که به آن تعلق دارند، ابتدا انتخاب می‌شوند. بنابراین، حتی اگر هر b-bin باز هم به تعداد معینی از سؤالات نیاز داشته باشد، سؤالات می‌توانند از bin های دیگری انتخاب شوند. روش نموداری که برای انتخاب تعداد سؤالات مورد نیاز وجود دارد، تعداد دقیق سؤالات مورد نیاز برای هر b-bin که حداکثر آگاهی دارد را تعیین می‌کند. سؤالات خاصی که از بین همه‌ی سؤالات انتخاب می‌شوند، سؤالات مورد نیاز برای خزانه‌ی سؤال بهینه هستند.
نمودار 2-12: ترتیب سؤالات بر حسب بالاترین میزان آگاهی در هر b-bin
یکی از خطرهایی که این شیوه دارد، این است که سؤلاتی که آگاهی بیشتری در طول دامنه‌ی سطوح ایجاد می‌کنند، ممکن است به دفعات بیشتری نسبت به آنچه طراحان آزمون می‌خواهند انتخاب و اجرا شوند، در یک b-bin، تعداد دفعات مورد انتظاری که یک سؤال اجرا می‌شود، به رتبه‌ی میزان آگاهی که آن سؤال ایجاد می‌کند، بستگی دارد. در طول شبیه‌سازی خزانه‌ی سؤال، تعداد دفعات مورد انتظاری که یک سؤال اجرا می‌شود، از طریق ثبت تعداد دفعاتی که یک سؤال از هر b-bin شبیه‌سازی و اجرا می‌شود، برآورد می‌شود. اگر سؤالی بیش از نرخ مواجهه‌ی هدف انتخاب شود، سؤال جدیدی که به همان ab-bin متعلق است، به خزانه‌ی سؤال نهایی اضافه می‌شود. برای مثال نمودار 2-13 کاربرد مورد انتظار سؤال در هر b-bin برای 8000 آزمودنی را نشان می‌دهد، به‌طوری‌که سؤالات بر حسب میزان آگاهی‌شان مرتب شده‌اند. انتظار می‌رود که سؤال 109 -که در نمودار 2-13 نشان داده‌شده است-، 11800 بار (1329+2471+8000)، انتخاب شود، این مقدار 48/0 بیشتر از سؤالی است که می‌تواند انتخاب شود. خزانه‌ی سؤال بهینه، به یک سؤال دیگری در همان ab-bin نیاز دارد. اگر نرخ مواجهه‌ی هدف 33/0 باشد، بنابراین این سؤال 43/3 مرتبه بیش از نرخ مواجهه‌ی هدف است. بنابراین به 4 سؤال دیگر از همان ab-bin نیاز داریم تا به خزانه اضافه کنیم. نمودار 2-14 و 2-15، یک طرح خزانه‌ی سؤال را قبل و بعد از تعدیل بعد از شبیه‌سازی، نشان می‌دهد (ریکیسی، 2004، گو و ریکیسی، 2007).
نمودار 2-13: کاربرد سؤال به ترتیب بالاترین میزان آگاهی در هر b-bin
نمودار 2-14: توزیع سؤال خزانه‌ی سؤال بهینه قبل از تعدیل
نمودار 2-15: توزیع سؤال خزانه‌ی سؤال بهینه بعد از تعدیل پس از شبیه‌سازی
اعمال اصلاحاتی برای روش کنترل مواجهه
نرخ مواجهه‌ی یک سؤال، عبارت است از، تعداد دفعاتی که یک سؤال اجرا می‌شود، تقسیم بر تعداد آزمودنی‌ها. در خلال فرآیند طراحی خزانه‌ی سؤال بهینه، سؤالات واقعی در دسترس نیستند، امّا سؤالات شبیه‌سازی شده، نماینده‌ی سؤالاتی از bin هایی که به آن تعلق دارند، می‌باشند. تعداد دفعاتی که سؤالات هر bin اجرا می‌شوند، برآورد تعداد مواجهه‌ی کناری سؤالات در یک bin است که بر تعداد سؤالات مورد نیاز در bin تقسیم می‌شود. اگر در اجرای CAT کنترل مواجهه اعمال نشود، الگوی طراحی خزانه‌ی سؤال، بعد از تعدیل پس از شبیه‌سازی، به‌طور مستقیمی از همین نسبت‌های مواجهه پیروی می‌کند.
روش سیمپسون-هتر (1985)، مواجهه‌ی سؤال را با فهرست احتمالی k از طریق تعدیل تعداد دفعاتی که یک سؤال اجرا می‌شود، کنترل می‌کند. به سؤالاتی که بالقوه نسبت مواجهه‌ی بالایی دارند، مقدار k کوچکی اختصاص داده می‌شود، به طوری‌که، احتمال اجرا سؤال را تا زیر نرخ مواجهه‌ی بیشینه، پایین آورد. زمانی‌که به دلیل کنترل مواجهه‌ی سؤال، سؤال انتخاب شده اجرا نمی‌شود، آگاهی دهنده‌ترین سؤال بعدی انتخاب می‌شود. هدف طراحی خزانه‌ی سؤال بهینه با کنترل مواجهه‌ی سیمپسون-هتر این است که، علاوه بر بهینه بودن، طول آزمون، تعادل محتوایی و جنبه‌های دیگر آزمون را نیز وارد می‌کند، و این اطمینان را می‌دهد که کنترل مواجه تنها به میزان اندکی دقت آزمون را کاهش می‌دهد. با مطمئن شدن از اینکه سؤالات کافی در bin هایی که اغلب، سؤالات از آنها انتخاب می‌شوند، وجود دارند، به هدف طراحی بهینه خزانه‌ی سؤال می‌رسیم.
همچنین روش مشابهی در تعدیل پس از شبیه‌سازی، برای حفظ سؤالات کافی در هر bin به‌کار می‌رود. از آنجا که، تعداد دفعاتی که یک سؤال استفاده می‌شود، می‌تواند در طول فرآیند طراحی خزانه‌ی سؤال ثبت شود، اگر این تعداد به () سؤال دیگر از همان bin برسد، به طوری‌که نسبت مواجهه‌ی کل برای هر یک از سؤالات درون bin بزرگتر از r نشود، آن سؤال باقی می‌ماند (ریکیسی، 2004، گو و ریکیسی، 2007).
ملاک‌های ارزیابی خزانه‌های سؤال شبیه‌سازی شده
ملاک‌های ارزیابی خزانه‌ی سؤال عبارت‌اند از، میانگین آگاهی آزمون در هر سطح ، سوگیری یا بایاس، میانگین مجذور خطا (MSE) و ضرایب همبستگی بین های برآورد شده و واقعی، به منظور سنجش دقت برآورد . میزان چولگی یا کجی توزیع نرخ مواجهه‌ی سؤال، درصد سؤالات بیش مواجهه شده، نرخ همپوشی سؤال و درصد سؤالات کم مواجهه شده، همه‌ی این شاخص‌ها به منظور محاسبه‌ی شاخص امنیت آزمون درنظر گرفته‌می‌شود. در زیر هر یک از
آنها را به تفضیل توضیح می‌دهیم (چانگ و یینگ ،1999 ؛ ریکیسی 2005):
آگاهی شرطی آزمون
آگاهی آزمون عبارت است از، مجموع کل آگاهی‌های فیشر هر یک از سؤالات در آزمون. در آزمون‌های CAT که طول ثابت دارند، آگاهی آزمون به عنوان شاخص کارایی آزمون درنظر گرفته می‌شود. هرچه میزان آگاهی که یک آزمون ایجاد می‌کند، بیشتر باشد، کارایی آزمون نیز بیشتر است (گو، 2007).
خطای استاندارد شرطی اندازه‌گیری (CSEM)
در هر نقطه‌ی ثابت ، خطای استاندارد اندازه‌گیری به شیوه‌ی زیر محاسبه می‌شود:
(2-30)
برای مثال، اگر باشد، تعداد تکرارها (یعنی، تعداد CAT هایی که اجرا شده) در هر نقطه‌ی ثابت می‌باشد، و ، میانگین برآوردهای در کل تکرار در می‌باشد.
اریب و میانگین مجذور خطا (MSE)
این مقادیر توسط دو معادله‌ی (2-31) و (2-32) محاسبه می‌شود.
(2-31)