عوامل تاثیرگذار بر انتخاب سؤالات بعدی و شیوه‌ی نمره‌دهی، مدل سه پارامتری

2). رویکرد تخمین از روی نمرات تست دیگر و یا اطلاعات تست دیگر؛ این رویکرد بیان می‌کند که، برای تصحیح برآورد اولیه‌ی توانایی آزمودنی از آزمون‌های دیگر استفاده کنیم و سپس مناسب‌ترین سطح دشواری را برای سؤال اول انتخاب کنیم.
3). رویکرد شروع آسان؛ تاکید این رویکرد بر این است که، تست را با سؤال آسانی شروع کنیم تا آزمودنی در ابتدا دل‌گرم شود و با امیدواری تست را ادامه دهد (پارشال، اسپری، کالن و دیوی، 2002).
عوامل تاثیرگذار بر انتخاب سؤالات بعدی و شیوه‌ی نمره‌دهی
در CAT، انتخاب سؤال بهینه بر این اساس است که، علاوه بر این‌که کارایی آزمون را به حداکثر می‌رساند، آزمونی با طول کوتاه و در عین حال آگاهی‌دهنده به هر آزمودنی ارائه شود. در حالی‌که، سنجش انطباقی با انتخاب متوالی سؤالاتی که اندازه‌گیری بهینه‌ای در هر سطح توانایی برآورد شده‌ی آزمودنی ایجاد می‌کنند، به کارایی می‌رسد، در برنامه‌های سنجش انطباقی عملیاتی، به‌طور نوعی در انتخاب سؤال باید به عوامل دیگری هم توجه کرد. به‌طور کلی، سؤالات با توجه به حداقل سه هدف اغلب متضاد انتخاب می‌شوند: (1). کارایی آزمون را از طریق اندازه‌گیری سریع و دقیق توانایی آزمودنی افزایش دهد؛ (2). این اطمینان را ایجاد کند که آزمون از لحاظ محتوایی تعادل مناسبی دارد؛ (3). از امنیت خزانه‌ی سؤال، از طریق کنترل نرخی که سؤالات بهینه اجرا می‌شوند، محافظت کند (پارشال، اسپری، کالن و دیوی، 2002؛ پارشال، دیوی و نرینگ، 1998). در این قسمت تنها هدف اول مورد بررسی قرار می‌گیرد، و دو هدف دیگر، به عنوان مولفه‌های دیگر CAT در قسمت‌های مجزایی بررسی می‌شود.
شیوه‌های انتخاب سؤال به منظور افزایش کارایی آزمون و نمره دهی آزمون
در CAT ، سؤالات جدید به‌طور انطباقی با توجه به برآورد موقت سطح توانایی آزمودنی، براساس پاسخ به سؤالات که قبلاً اجرا شده، انتخاب می‌شوند (دیوی، پارشال، 1995). سؤالات برای افزایش کارایی آزمون از طریق سه رویکرد متفاوت انتخاب می‌شوند درحال حاضر، سه روشی که به طور ‌وسیع‌تری برای انتخاب سؤال در سنجش انطباقی به کار‌می‌رود عبارتند از بیشینه آگاهی (MI) (براون و ویس، 1977) و بیشینه‌ی دقت پسین (MPP) (اوون، 1975) و آگاهی وزن‌دار (WI) (پارشال، اسپری، کالن و دیوی، 2002).
1). شیوه‌ی بیشینه‌ی آگاهی انتخاب سؤال
آگاهی سؤال یا آگاهی فیشر معیار متداولی است که از طریق آن سهمی که هر سؤال، سطح توانایی آزمودنی را اندازه‌گیری می‌کند را مشخص می‌کند. به دلیل این‌که، آگاهی سؤال رابطه‌ی معکوسی با واریانس برآورد توانایی دارد، هدف اغلب شیوه‌های انتخاب سؤال این است که تا جایی که امکان دارد میزان آگاهی بیشتری جمع آوری کنند. در مدل سه پارامتری لوجستیک، مقدار آگاهی هر سؤال در هر سطح توانایی بیشتر به پارامتر a سؤال بستگی دارد. تحت ساده‌ترین شیوه‌های انتخاب سؤال CAT، سؤالی که بیشترین میزان آگاهی را در برآورد توانایی دارد، برای اجرا انتخاب می‌شود (براون و وایس، 1977). از همین‌رو روش بیشینه‌ی اطلاعات (MI)، سؤالی را انتخاب می‌کند که مقدار آگاهی فیشر را در برآورد توانایی جدید آزمودنی بیشینه کند. فرض کنید ، تابع پاسخ سؤال را برای سؤال نشان می‌دهد و می‌باشد. بنابراین، برای سؤالی که به صورت دوارزشی نمره داده شده‌ است، آگاهی فیشر بر اساس معادله‌ی (2-1) عبارت است از (لرد، 1980):
(2-1)
؛ احتمال پاسخ درست با معین می‌باشد.
؛ احتمال پاسخ نادرست با معین می‌باشد.
با جایگزین کردن مشخصات مدل معادله‌ی (2-1)، برای مدل سه پارامتری لوجستیک دو ارزشی، معادله به صورت معادله‌ی (2-2) ساده می‌شود (همبلتون، سوامیناتان و راجرز، 1991؛ لرد، 1980):
(2-2)
در معادله‌ی (2-2)، ، ، و ؛ پارامتر ضریب تشخیص سؤال می‌باشد، ؛ پارامتر سطح دشواری سؤال می‌باشد و ؛ پارامتر حدس سؤال ( یعنی احتمال اینکه آزمودنی با خیلی پایین به سؤال پاسخ صحیحی بدهد)، می‌باشد. معادله‌ی (2-2) نشان می‌دهد چنانچه به نزدیک شود و نیز افزایش یابد و به صفر نزدیک شود، آگاهی سؤال افزایش می‌یابد (هملتون و همکاران، 1991).
انتخاب آزاد (نامقید) روش MI ، سؤال را انتخاب می‌کند که آگاهی فیشر را در بیشینه کند. و موقت برای آزمودنی بعد از n سؤال برآورد می‌شوند. زمانی که سؤالاتی که در CAT قرار می‌گیرد با استفاده از روش MI انتخاب شوند، دقت به ازای هر سؤالی که اجرا می‌شود، افزایش می‌یابد (هملتون و همکاران، 1991). انتخاب سؤال به روش بیشینه‌ی آگاهی از لحاظ محاسباتی بسیار سرراست است، زیرا عملیات محاسبه‌ی توابع آگاهی می‌تواند قبل از این‌که هر یک از آزمودن‌ها آزمون دهند، محاسبه شود. نتایج آگاهی‌های محاسبه شده در خانه‌های جدول بر اساس میزان آگاهی‌شان مرتب می‌شوند (پارشال، اسپری، کالن و دیوی، 2002). در عمل، اغلب انتخاب سؤال به روش MI بر روی جدول آگاهی که قبلاً محاسبه شده‌ی استوار است، که در آن جدول سؤالات بر اساس آگاهی که در هر تعداد از مقادیر فراهم می‌کند، منظم می‌شوند. انتخاب سؤال برای همه‌ی هایی که در حدود فواصل مقدار جدول‌بندی شده قرار دارند، یکسان است. به جای محاسبه‌ی میزان آگاهی فیشر برای هر یک از سؤالات خزانه‌ی سؤال در مقدار برآورد جدید ، در هر زمانی که سؤال بعدی باید انتخاب شود، لازم است که تنها یک مرتبه برای هر سؤال در هر نقطه جدول‌بندی شده محاسبه شود. روش انتخاب سؤالی که بر جدول آگاهی مبتنی است تقریباً اطلاعات کمتری ایحاد می‌کند، امّا از لح
اظ محاسباتی نسبت به روش MI دشواری کمتری دارد. این شیوه‌های انتخاب سؤال آماری، بر ملاحظات عملی از قبیل نرخ مواجهه سؤال اثر می‌گذارند (گو و ریکیسی، 2007). البته، متاسفانه، خطای برآورد اغلب به انتخاب سؤالات از ستونی منجر می‌شوند که مقدار توانایی واقعی را پوشش نمی‌دهد. این قضیه، مخصوصاً زمانی واقعیت پیدا می‌کند که تعداد کمی سؤال اجرا می‌شود. و زمانی‌که سؤالات ضرایب تشخیص بالایی دارند که باعث می‌شود به بالای جدول آگاهی نزدیک شوند، وخیم‌تر می‌شود. چون این سؤالات بیشتر مورد توجه قرار می‌گیرند. اغلب این سؤالات دامنه‌ی محدودی از توانایی را تشخیص می‌دهند و بقیه‌ی دامنه‌ی توانایی را ضعیف تشخیص می‌دهند. بنابراین، سؤالاتی که به خوبی برآورد موقت توانایی را اندازه‌گیری می‌کنند، ممکن است به‌طور ضعیفی مقدار واقعی توانایی را اندازه‌گیری کنند (پارشال، اسپری، کالن و دیوی، 2002). بنابراین توصیه می‌شود، زمانی که این شیوه‌ی انتخاب سؤال در الگوریتم CAT به کار می‌رود، از روش‌های مناسب کنترل مواجهه استفاده شود (گو و ریکیسی، 2007).
2). شیوه‌ی انتخاب سؤال به روش بیشینه‌ی دقت پسین
در شیوه‌ی انتخاب سؤال بیشینه‌ی پسین (MPP)، سؤالی انتخاب می‌شود که بیشترین کاهش را در واریانس توزیع پسین توانایی ایجاد کند. این روش به منظور تشخیص برآوردهای موقتی توانایی که دارای خطا هستند، ایجاد شده است. بنابراین، سؤالات براساس توزیع کامل پسین توانایی به جای یک نقطه‌ی برآورد، انتخاب می‌شوند. ممکن است که سؤالی که انتخاب می‌شود در آن سطح توانایی یا سطوح دیگر توانایی، بیشترین آگاهی را نداشته باشد. درعوض، سؤال انتخاب شده، سؤال متعادلی است که در طول سطح چگالی توزیع پسین، اندازه‌گیری مناسبی انجام می‌دهد. این رویکرد ماهیت محافظه‌کارانه‌ای دارد و اغلب نتایج خوبی ایجاد می‌کند. با این وجود، رویکرد MPP نمی‌تواند بر اساس جدول آگاهی عمل کند و بنابراین، از لجاظ محاسباتی سخت‌تر از رویکرد MI می‌باشد. در این شیوه، به طور مداوم سؤالات ارائه نشده‌ی کل بانک سؤال جستجو می‌شود تا سؤالی که حداکثر کاهش را در واریانس پسین ایجاد می‌کند، پیدا شود. این فرایند برای خزانه‌های سؤالی که نسبتاً بزرگ هستند، بی‌نهایت زمان‌بر می‌باشد (پارشال، اسپری، کالن و دیوی، 2002).
3). شیوه‌ی انتخاب سؤال به روش آگاهی وزن‌دار
روش آگاهی وزن‌دار، شیوه‌ای از انتخاب سؤال است که در آن وزن‌هایی از توزیع پسین توانایی جدید آزمودنی به ستون‌هایی از جدول آگاهی وارد می‌شود. در طول انتخاب سؤال، مقادیر آگاهی فراهم شده براساس هر سؤال در هر سطح توانایی در این وزن‌ها ضرب و سپس جمع می‌شود. سؤالی با بیشترین آگاهی وزن‌دار برای اجرا انتخاب می‌شود. شباهت روش WI به روش MPP در این است که در هر دو روش فرض می‌شود که برآوردهای موقتی همراه با خطا هستند. با این وجود، با اینکه از لحاظ محاسباتی به سادگی روش MI نمی‌باشد، ولی ساده‌تر از روش MPP می‌باشد. این شباهت به دلیل است که تقریب اوون (1969 و 1975) به توزیع پسین توانایی، می‌تواند برای محاسبه‌ی وزن‌ها به کار رود (پارشال، اسپری، کالن و دیوی، 2002).
قواعد اتمام آزمون
روش‌های اجرای CAT در دو طبقه‌ی اساسی قرار می‌گیرند. این طبقه‌بندی بر اساس قواعد اتمام آزمون تعریف می‌شود. آنها یا دارای طول ثابت هستند و یا دارای طول متغیر. در آزمون‌های CAT با طول ثابت، تعداد یکسانی سؤال برای هر آزمودنی اجرا می‌شود. بنابراین، آزمودنی‌های متفاوت ممکن است با سطوح متفاوتی از دقت سنجش شوند، دقیقاً همانند آنچه در آزمون‌های غیر انطباقی مرسوم می‌باشد. اگر آزمونی که برای آزمودنی‌ها انتخاب می‌شود، مناسب باشد و به آسانی مورد هدف سنجش قرار گیرد، به دلیل این‌که، پاسخی که این نوع آزمودنی به آزمون خواهند داد، قابل پیش بینی خواهد بود و یا به دلیل اینکه توانایی آنها در نقطه‌ای قرار می‌گیرد که خزانه‌ی سؤال غنی است، بسیار دقیق‌تر از آزمودنی‌هایی که به خوبی مورد هدف سنجش قرار نمی‌گیرند، مورد اندازه‌گیری قرار می‌گیرند. در مقابل، در آزمون‌های CAT که طول متغیر دارند، هر آزمودنی به سطح ثابتی از دقت می‌رسد، و اگر نیاز باشد، تعداد متفاوتی سؤال برای آزمودنی‌های مختلف اجرا می‌شود. در این نوع CAT، آزمودنی‌هایی که به خوبی مورد هدف سنجش قرار می‌گیرند، آزمون کوتاهتری نسبت به آزمودنی‌هایی که به طور ضعیفی مورد هدف سنجش قرار می‌گیرند، دریافت می‌کنند (پارشال، اسپری، کالن و دیوی، 2002).