شیوه‌ی بیشینه‌ی درست نمایی، استقلال موضعی

(2-6)
که در معادله (2-6)، و بصورت زیر تعریف میشوند:
نمره‌دهی آزمون سنجش انطباقی به روش اوون، تنها یک پاسخ را در یک زمان درنظر‌می‌گیرد. همه‌ی اطلاعات قبلی در پارامترهای توزیع پیشین وارد می‌شود و بعد از هر سؤال تغییر می‌کنند. به دلیل اطلاعات پیشین اضافه‌شده، در شیوه‌های بیزین این مزیت وجود دارد که نسبت به MLE خطاهای استاندارد کوچکتری در تعداد یکسانی از سؤالات اجرا‌شده دارند. با این وجود، استفاده از یک پیشین نادرست، باعث می‌شود که برای بهبود برآورد، به تعداد سؤالات بیشتری نیاز داشته‌باشیم، و بازگشت به سمت میانگین در برآورد توانایی رخ‌دهد. با این وجود، کاربرد روش بیزین اوون برای برآورد توانایی پایانی، به دلیل وابستگی به ترتیب ارائه‌ی سؤالات توصیه نمی‌شود (پارشال، اسپری، کالن و دیوی، 2002).
شیوه‌ی بیشینه‌ی درست نمایی
برآورد بیشینه‌ی درست نمایی توانایی از طریق جستجوی مقدار بیشینه‌ی تابع درست نمایی تعیین می‌شود. از این شیوه‌ی برآورد، زمانی که پارامترهای سؤال معلوم باشند، به کار می‌رود. در این روش فرض بر این است که یک آزمودنی با الگوی پاسخ که به طور تصادفی انتخاب می‌شود، به مجموعه‌ای n سؤالی پاسخ می‌دهد. اگر پاسخ صحیح به سؤال باشد و پاسخ غلط به سؤال باشد. بر اساس مفروضه‌ی استقلال موضعی، احتمال مشترک مشاهده‌ی الگوی پاسخ برای این آزمودنی برابر است با؛ حاصلضرب احتمال‌های مشاهده شده‌ی پاسخ‌های او. معادله‌ی (2-7) این حاصل را نشان می‌دهد:
(2-7)
با در نظر گرفتن و ، تابع درست نمایی می‌تواند به صورت معادله‌ی (2-8) نوشته شود:
(2-8)
حال اگر الگوی پاسخ مشخص باشد، یعنی باشد، دیگر کاربرد احتمال مناسب نخواهد بود، لذا در این شرایط معادله‌ی احتمال مشترک را تابع درست نمایی می‌نامیم و آن را با معادله‌ی (2-9) نشان می‌دهیم:
(2-9)
از آنجا که تابع درست نمایی حاصل‌ضرب کمیت‌هایی است که بین صفر و یک قرار دارد، بنابرین، حاصلضرب مقدار فوق بسیار کوچک می‌شود، مقیاس سازی بهتری از آن این است که از تبدیل لگاریتمی استفاده شود. معادله‌ی (2-10) این تبدیل لگاریتمی را نشان می‌دهد:
(2-10)
حال مقدار که تابع درست نمایی یا لگاریتم تابع درست نمایی یک آزمودنی را بیشینه سازد، به عنوان برآورد بیشینه‌ی درست نمایی برای آن آزمودنی تعیین می‌شود (همبلتون، سوامیناتان و راجرز، 1991). برآورد بیشینه‌ی درست نمایی برای آزمون‌های کوتاه با ثبات نیست و تا زمانی‌که آزمودنی در الگوی پاسخ خود پاسخ صحیح یا غلط نداشته باشد مقدار نامحدود بدست می‌آید. MLE مقدار اریب نسبتاً کمی دارد. ولی یکی از مشکلات آن این است که گاهی اوقات چندین نقطه‌ی بیشینه خواهد داشت. این روش به محاسبات طولانی‌تری نسبت به روش‌های بیزین نیاز دارد (پارشال، اسپری، کالن و دیوی، 2002).
مواجهه‌ی سؤال
در کل، اغلب روش‌های انتخاب سؤال، برخی از سؤالات را بیشتر از سؤالات دیگر، به دلیل، صفات برتر اندازه‌گیری یا ویژگی‌های مطلوب سؤال ترجیح می‌دهند. در نتیجه، برخی از سؤالات بیشتر از حد مجاز برای آزمودنی‌ها اجرا می‌شوند. این امر ممکن است باعث فاش شدن سؤال شود، که روایی نمرات آزمون را از بین می‌برد (وایس و کینگسبری، 2000). به عبارت دیگر، برخی از سؤالات نیز کمتر مورد استفاده قرار می‌گیرند که این امر هم باعث اتلاف سرمایه‌ها می‌شود. بنابراین، انتخاب راهبردی برای کنترل مواجهه‌ی سؤالات برای آزمودنی‌ها، بخش جدایی‌ناپذیر طراحی آزمون است (داویس و داد، 2003).
یکی از اولین روش‌هایی که برای برخورد با مسائل کنترل مواجهه ایجاد شده است، روش 5-4-3-2-1 ( هتر و سیمپسون، 1997؛ مک‌برید و مارتین، 1983) که در CAT-ASVAB به کار رفت، می‌باشد. کینگسبری و زارا (1989)، و تامسون (1998) روش‌های متفاوت تصادفی را برای کاهش نرخ مواجهه‌ی کلی طراحی کردند. روش‌های چرخشی خزانه‌ی سؤال (وای، 1998، وای و استفان و اندرسون، 1998، آریل، ولدکمپ و وندرلیندن، 2004 ) و CAST (لانچ و نانگستر، 1998)، به منظور توزیع سؤالات در تست‌های متفاوت از طریق یک قیاس ایجاد شدند تا دردسترس بودن انتخاب سؤالات را کاهش دهند. با این وجود، در صنعت CAT، روش کنترل مواجهه‌ی سؤال مبتنی بر روش سیمپسون و هتر، (1985) به‌طور وسیعتری به کار می‌رود.
روش کنترل مواجهه‌ی سیمپسون-هتر
روش کنترل مواجهه سیمپسون – هتر (S-H) یکی از رایجترین شیوه‌های انتخاب مشروط سؤال است. در این روش به هر سؤال یک مقدار پارامتر کنترل مواجهه اختصاص داده‌ می‌شود، که بر اساس فراوانی انتخاب سؤال که در یک شبیه‌سازی چرخشی CAT تعیین می‌شود، استوار است. به سؤالاتی با فراوانی‌های اجرای زیاد، پارامترهای کنترل مواجهه کوچکتری اختصاص داده‌می‌شود، که دامنه‌ی آن از 0 تا 1 می‌باشد. در طول اجرای آزمون، پارامتر کنترل مواجهه‌ی سؤال انتخاب شده با عدد یکنواخت تصادفی که دامنه‌ی آن نیز بین 0 تا 1 است، مقایسه می‌شود. اگر پارامتر کنترل مواجهه بزرگتر از عدد تصادفی باشد، سؤال اجرا می‌شود، و اگر کوچکتر باشد، سؤال به خزانه‌ی سؤال بازگردانده می‌شود. به همین صورت، فرآیند یکسانی برای بهترین سؤال بعدی صورت می‌گیرد. پارامتر کنترل مواجهه مشابه آستانه می‌باشد. با کنترل آستانه‌ی روش (S-H) اجرای سؤالاتی که به‌طور‌فراوانی در CAT استفاده می‌شوند، محدود می‌شود و نرخ بیشینه‌ی مواجهه‌ی سؤال برای سؤالاتی که اغلب کمتر مورد استفاده قرار می‌گیرند را تضمین می‌کند. معمولاً پ
ارامترهای کنترل مواجهه در روش (S-H) به‌وسیله‌ی مجموعه‌ای از شبیه‌سازی‌های چرخشی اجراهای واقعی CAT تنظیم می‌شود. به عبارت دیگر، این پارامتر، نسبت نرخ مواجهه‌ی هدف برای احتمال انتخاب سؤال در آزمون می‌باشد. این شیوه به صورت زیر عمل می‌کند:
فرض کنید که انتخاب سؤال را برای یک آزمودنی که به‌طور تصادفی نمونه‌گیری شده را نشان می‌دهد، همچنین فرض کنید که اجرای آن سؤال را نشان می‌دهد. نرخ مواجهه‌ی سؤال می‌تواند به‌صورت تفسیر شود، یعنی احتمال اجرای سؤال برای آزمودنی که به‌طور تصادفی نمونه‌گیری شده است. روش (S-H) سؤالاتی را که اجرا شده از سؤالاتی که انتخاب می‌شود، از طریق رابطه‌ی احتمال جدا می‌کند و را از طریق کنترل یعنی نسبت انتخاب‌هایی که به اجرا منجر می‌شود، کنترل می‌کند. برای هر نرخ مواجهه‌ی معین ؛ ، می‌تواند از طریق تعیین به‌دست آید. اگر معلوم باشد، یا بتواند تقریب زده ‌شود، این روش می‌تواند به آسانی از طریق ایجاد یک متغیر تصادفی یکنواخت اجرا شود.
روش (S-H) به‌طور مؤثری، نرخ‌های مواجهه‌ی همه‌ی سؤالات را محدود می‌کند. با این‌ وجود، چون سؤالاتی که انتخاب نشدند، نمی‌توانند اجرا شوند، سؤالاتی با احتمالات انتخاب کوچک، نرخ‌های مواجهه کوچکی خواهند داشت؛ بنابراین، روش (S-H) نرخ‌های مواجهه را برای سؤالاتی که کمتر مواجهه می‌شوند را نمی‌تواند افزایش دهد. بعلاوه، تا زمانی‌‌که مواجهه‌ی یک سؤال در میان سطوح ‌بتواند کنترل شود، میزان کنترل یکسانی برای آزمودنی‌ها در سطح توانایی ویژه‌ای صورت نمی‌گیرد. برای مثال، حتی اگر مواجهه‌ی یک سؤال کنترل شود، به‌طوری‌که آن سؤال برای بیش از %30 از آزمودنی‌های همپوش اجرا نشود، آن سؤال ممکن است برای آزمودنی‌هایی با توانایی بالا در %100 دفعات اجرا شود. بعلاوه، اجرای این روش به شناخت نیز نیاز دارد، که آن هم به شکل توزیع جامعه‌ی آزمودنی وابسته است. از‌این‌رو، باید توزیع پیشین پارامتر تعیین شود و سپس مقدار از طریق شبیه‌سازی تقریب زده شود (سیمپسون و هتر، 1985).
انواع بسیاری از روش‌های (S-H) ارائه شده‌اند. پارشال و دیوی و نرینگ (1998)، روش (S-H) شرطی را که در آن پارامترهای کنترل مواجهه براساس سطح توانایی مشخص می‌شود را ایجاد کردند. همچنین تامسون (1995) نیز شیوه‌ای از کنترل مواجهه‌ی شرطی را روی توانایی آزمودنی ایجاد کرد. در رویکردهای سیمپسون – هتر شرطی، ماتریسی از پارامترهای مواجهه‌ی سؤال با پارامترهای مواجهه‌ی متفاوت برای هر سؤال در هریک از سطوح توانایی مجزا ایجاد می‌شود که با توانایی آزمودنی‌ها رابطه دارد. استوکینگ و لوئیس (1995) روشی برای استفاده از مدل چند جمله‌ای ایجاد کردند. همچنین نوع دیگری از این روش که جایگاه‌های پارامتر کنترل مواجهه نه تنها فراوانی سؤالی که انتخاب می‌شود، بلکه سطح را نیز درنظر می‌گیرد را ارائه کردند (استوکینگ و لوئیس، 1998). این روشی که به روشS-H اضافه شده است (اغلب به عنوان روشS-H شرطی زمانی که مدل چند جمله‌ای به‌کار نمی‌رود، شناخته می‌شود)، به دلیل مزایای زیادی که برای روش S-H از طریق ایجاد یک پارامتر کنترل مواجهه برای هر سؤال در تعداد متفاوتی از سطوح ایجاد می‌کند، مطلوب است. همچنین، روش دیوی – پارشال، روی سؤالاتی که قبلاً در طول اجرای یک CAT معین اجرا شده شروطی قرار می‌دهد (دیوی و پارشال، 1995؛ پارشال، دیوی و نرینگ، 1998). روش “hybrid” یا “Tri-Conditional” این رویکردها را ترکیب می‌کند و روی هر سؤال، توانایی آزمودنی و زمینه و بافتی که این سؤالات قبلاً اجرا شده است، شرط قرار می‌دهد (نرینگ، دیوی و تامسون، 1998؛ پارشال، هوگارتی و کرومری، 1999).