مدل سه پارامتری، مدل یک پارامتری

و
بنابراین، مشاهده شد که روش WDM با استفاده از الگوریتم‌های برنامه‌نویسی خطی اعداد صحیح استاندارد حلّ می‌شود. این روش تا حدودی مشکلات روش تست سایه را حلّ می‌کند ولی همانند دیگر روش‌های برنامه‌نویسی خطی دارای مشکلات کد نویسی می‌باشد.
رویکرد دوم: رویکرد اکتشافی
ریکسی (2003، 2004)، به منظور طراحی خزانه‌ی سؤال بهینه رویکرد اندکی متفاوت را مطالعه کرد، و استفاده از برنامه‌ریزی اعداد صحیح را کنار گذاشت. همچنین، در مطالعات گوناگون در مورد طراحی خزانه‌های سؤال بهینه برای CAT استفاده شده است (ریکیسی، 2003، 2004، 2005؛ ریکیسی و هی؛ 2004، 2009) و گو (2007). در این رویکرد فرض نمی‌شود که سؤالات از قبل وجود دارد. درعوض، در این رویکرد سؤالات برحسب پارامترهای IRT شبیه‌سازی می‌شود تا با برآوردهای اخیر توانایی مطابقت داشته باشد و میزان آگاهی به ‌اندازه کافی بهینه‌ای را ایجاد کند. در روش ریکیسی (2003) ابتدا، خزانه‌ی سؤال هدف را بر اساس صفات غیر آماری از قبیل محتوا به خزانه‌های کوچکتری تقسیم‌بندی می‌شوند. سپس فرآیند CAT شبیه‌سازی می‌شود، به‌طوری‌که خزانه‌های سؤال کوچکتر به‌طور همزمان ساخته‌شوند. شبیه‌سازی با یک آزمودنی که به‌طور تصادفی از توزیع مورد انتظار استخراج می‌شود، آغاز می‌شود، تا CAT ایجاد شود. هر سؤال شبیه‌سازی می‌شود تا سؤال بهینه‌ای براساس برآورد توانایی اخیر آزمودنی ایجاد شود. فرایند مشابهی برای آزمودنی بعدی نیز تکرار می‌شود. به همین ترتیب سؤالات برای نمونه‌ی بزرگی از آزمودنی‌ها شبیه‌سازی می‌شود و به خزانه‌ی سؤال اضافه می‌شود، و به همین صورت خزانه‌ی سؤال بهینه ساخته می‌شود. در این روش برای تصمیم گیری در مورد اینکه چند مرتبه یک سؤال می‌تواند دوباره استفاده شود، این قابلیت وجود دارد که قواعد کنترل مواجهه در شبیه‌سازی وارد شود. این روش به‌طور موفقیت‌آمیزی با نرم‌افزار‌های برنامه‌نویسی قابل انجام است (گو و ریکیسی، 2007).
روش شبیه‌سازی خزانه‌ی سؤال در رویکرد اکتشافی (ریکیسی)
مفاهیم پایه
همان‌طور که قبلاً بیان شد، خزانه‌ی سؤال لیستی از پارامترهای سؤال برای هر یک از سؤالات خزانه توصیف می‌کند. براین اساس، ایده‌ی اصلی روش ریکیسی، تعیین پارامترهای سؤال براساس آزمودنی‌هایی است که به طور تصادفی از توزیع مورد انتظار آزمودنی‌ها نمونه‌گیری شدند. در این روش CAT های شبیه‌سازی شده‌ای برای آزمودنی‌ها اجرا می‌شوند، در این روش فرض بر این است که هر سؤالی که برای آزمودنی اجرا می‌شود با برآورد موقتی توانایی بهترین برازش را دارد. پس از اینکه از تعداد مشخصی از آزمودنی‌ها آزمون گرفته شد، اجتماع سؤالات ساختگی، خزانه‌ی سؤال بهینه برای برنامه‌ی CAT می‌باشد (ریکیسی، 2003).
از لحاظ نظری، برآورد هر منحصربه‌فرد می‌باشد، و سؤالاتی که به‌طور بهینه‌ای برای برآورد مناسب هستند، پارامترهای سؤال منحصربه‌فردی دارند. فرایند شبیه‌سازی که در بالا توصیف شد، تعداد زیادی سؤال در خزانه به تعداد کل سؤالاتی که برای آزمودنی‌ها اجرا می‌شود، ایجاد می‌کند یعنی، طول آزمون ضرب در تعداد آزمودنی‌ها. با این‌وجود، در عمل، عملکرد سؤالات با سؤالات دیگری که پارامترهایی با مقادیر کمی متفاوت دارند، بسیار مشابه است. این سؤالات در خزانه اضافی هستند، زیرا یکی از آنها می‌تواند برای برآورد سطح توانایی آزمودنی با کاهش بسیار کمی در دقت اندازه‌گیری، استفاده شود (گو و ریکیسی، 2007).
به همین منظور در این رویکرد مفهوم “bin” ، به‌منظور محاسبه‌ی فراوانی سؤالاتی با پارامترهای مشابه مطرح شد. یک “bin”، یک مخزن سؤال است، که حدود آن براساس صفات کمّی یا عددی سؤالات مشخص می‌شود، و تعداد سؤالاتی که درون یک “bin” هستند، صفات مشابهی دارند و می‌توانند به جای یکدیگر استفاده شوند. اگر سؤالات بر اساس مدل تک پارامتری لوجستیک (1PLM) مدرج شوند، در انتخاب سؤالات تنها پارامتر دشواری (پارامتر b) اثر دارد. به عبارت دیگر، “bin” ها به صورت دامنه‌هایی روی مقیاس، تعریف می‌شود. برای مثال، دو “bin” متوالی با پهنای 2/0 روی مقیاس به صورت روبرو؛ (2/0: 0) و (4/0: 2/0) نوشته‌ می‌شود. سؤالاتی با پارامترهای b برابر با 11/0 و 13/0 در انتخاب سؤال در برنامه‌ی CAT می‌توانند به جای یکدیگر انتخاب شوند، زیرا آنها به متعلق می‌باشند. بنابراین، الگوی طرح خزانه‌ی سؤال به لیستی از “bin” هایی با سؤالاتی با ویژگی‌های مشابه، تبدیل می‌شود(هی و ریکیسی، 2010؛ گو و ریکیسی، 2007).
پهنای “bin” هایی که یک خزانه‌ی سؤال را تعریف می‌کنند، باید به‌اندازه‌ی کافی کوچک باشند، تا جایی که همه‌ی سؤالات به یک اندازه برای برآورد سطح توانایی آزمودنی مناسب باشند. حال اگر پهنای “bin” خیلی بزرگ باشد، سؤالاتی که در یک “bin” قرار می‌گیرند، ممکن است از میزان متفاوتی سودمندی در برآورد سطح توانایی برخوردار باشند. دیدگاهی که برای تعیین پهنای “bin” در این روش وجود دارد، عبارت است از، تعیین دامنه‌ای روی مقیاس برای سؤالی که تابع آگاهی‌اش بیشینه است و دامنه‌ی اطراف نقطه بیشینه خیلی پایین نباشد. “خیلی پایین نبودن” اغلب به‌طور اختیاری به‌عنوان %98 بیشینگی تعریف می‌شود. به‌طور یقین، در این استدلال مقدار %96 یا %97 هم می‌تواند مناسب باشد( ریکیسی، 2007؛ گو و ریکیسی، 2007).
محصول نهایی طراحی خزانه‌ی سؤال بهینه، آرایه‌ای از اعداد صحیح می‌باشد، که نشان می‌دهد چه تعداد سؤال در هر “bin
” برای سرهم کردن همه‌ی آزمون‌ها در برنامه‌ی CAT مورد نیاز است. اگر کنترل مواجهه در شبیه‌سازی به‌کار نرود، اعداد صحیح بین صفر و طول آزمون L محدود می‌شود، زیرا، سؤالات در هر “bin” دوباره می‌توانند استفاده‌شوند و یک آزمون به بیشتر از L سؤال در هر “bin” نیاز ندارد. امّا زمانی‌که کنترل مواجهه‌ی سؤال در شبیه سازی به‌کار می‌رود، تعدادی از “bin” ها ممکن است شامل سؤالات بیشتری باشند، تا آنجاکه، نرخ‌های مواجهه‌ی توزیع شده سؤالات در “bin” هایی که مواجهه‌ی زیادی داشتند، از نرخ مواجهه‌ی هدف کمتر باشد(گو و ریکیسی، 2007).
کاربرد روش ریکیسی برای مدل تک پارامتری لوجستیک 1PLM
زمانی‌که سؤالات با مدل تک پارامتری مدرج می‌شود، تنها عامل روان‌سنجی که تعیین می‌کند یک سؤال بیشترین آگاهی در برآورد ایجاد می‌کند، پارامتر دشواری سؤال است. بنابراین زمانی‌که خزانه‌های سؤال بهینه‌ی طراحی‌شده با مدل تک پارامتری مدرج می‌شود، روش ریکیسی (2003)، روی تطابق پارامترهای b سؤال و برآوردهای موقتی تمرکز دارد. در این مدل روش ریکیسی شامل چهار گام می‌باشد:
درک دقیق و روشن از ویژگی‌های برنامه‌ی CAT، زیرا، طراحی خزانه‌ی سؤال باید شیوه‌ی آزمون را به‌دقیق‌ترین حالت ممکن طراحی کند.
تعیین صفات طبقه‌ای مورد نیاز برای سؤالات، از قبیل حوزه‌های محتوایی و تقسیم‌بندی خزانه‌ی سؤال به خزانه‌ی کوچکتر بر اساس این صفات. اگر آزمون بیش از یک صفت طبقه‌ای داشته ‌باشد، هر صفت جداگانه، یک بخش از خزانه‌ی سؤال را گزارش می‌کند. البته این گام شیوه‌ی شبیه‌سازی را با تعیین صفات کمّی از قبیل ویژگی‌های روان‌سنجی سؤال بهینه، آسان می‌کند.
اجرای شبیه‌سازی CAT روی آزمودنی‌هایی که به‌طور‌تصادفی از توزیع توانایی مورد انتظار نمونه‌گیری شدند. اگر توزیع توانایی‌ها از توزیع نرمال استاندارد پیروی کند، سطح اولیه‌ی توانایی در مقیاس برای آزمودنی‌ها برابر با صفر می‌باشد. سؤال اول برای همه‌ی آزمودنی‌ها یکسان است. این سؤال، سؤالی با بیشینه‌ی آگاهی در برابر با صفر می‌باشد. سؤال بهینه‌ی بعدی به پاسخ آزمودنی‌ به سؤال اول و برآورد او بستگی دارد. سؤالات بعدی طوری انتخاب می‌شوند تا بیشینه‌ی آگاهی در جدیدترین برآورد داشته‌باشند. اگر سؤالات با مدل یک پارامتری مدرج شوند، سؤال بهینه سؤالی است که مقدار b مساوی با برآورد اخیر داشته‌باشد. همچنان‌که سؤالات آزمون انتخاب می‌شوند و اجرا می‌شوند، به همین منوال به “bin” هایی که مساوی با مقادیر b شان است، اضافه می‌شوند.
سؤالات اضافه‌شده به “bin” ها، توزیع سؤالات را برای یک آزمودنی نشان می‌دهند. برای ساخت خزانه‌ی سؤال برای کل آزمون، اجتماع توزیع‌ها برای نمونه‌ای از آزمودنی‌ها محاسبه می‌شود. نتایج عملیات اجتماع، خزانه‌ی سؤال برای این طرح CAT و نمونه‌ی مشخصی از آزمودنی‌ها، می‌باشد.
این روش برای خزانه‌هایی که با مدل تک پارامتری مدرج می‌شود و زمانی‌که پارامتر دشواری سؤال تنها عامل تعیین میزان آگاهی یک سؤال می‌باشد، به‌خوبی کار می‌کند. در این مورد، سؤالاتی که مقدار b آنها برابر با برآورد اخیر است، همیشه بیشینه آگاهی در برآورد ایجاد می‌کنند. بنابراین، این سؤالات همیشه در مقایسه با سؤالاتی که پارامترهای b متفاوتی با دارند، سؤالات بهینه‌ای در برآورد محسوب می‌شوند. زمانی‌که سؤالات با مدل دو و سه پارامتری مدرج می‌شوند، میزان آگاهی سؤالات، حتی زمانی‌که پارامترهای b برابری دارند، متفاوت است، زیرا، پارامترهای a و c متفاوتی دارند (گو و ریکیسی، 2007).
کاربرد روش ریکیسی برای مدل سه پارامتری لوجستیک 3PLM
در مدل سه پارامتری، آگاهی سؤال با ترکیب سه پارامتر تعیین می‌شود: پارامتر ضریب تشخیص a ، پارامتر دشواری سؤال b و پارامتر عامل حدس c. با فرض اینکه، پارامتر b به سطح نزدیک شود، و پارمتر a خیلی بزرگ باشد، یک سؤال مقدار بی نهایتی آگاهی در هر سطح می‌تواند ایجاد کند. اگرچه، غیر ممکن است که سؤالاتی با پارامترهای a بسیار بزرگ داشته ‌باشیم، امّا این مورد معمول است که سؤالات نسبت به یکدیگر پارامترهای a متفاوتی داشته‌ باشند. این موضوع نشان می‌دهد، که در یک سطح معین، سؤالی که به بیشینه‌ی آگاهی می‌رسد، ممکن است لزوماً حداکثر آگاهی در آن سطح ایجاد نکند. به‌عبارت دیگر، سؤالی که بیشترین میزان آگاهی‌اش در یک سطح است، ممکن است، آگاهی بیشتری نسبت به سؤالات دیگر در خزانه‌ی سؤال، برای بیش از یک دامنه از سطوح ایجاد کند. همچنان‌که در نمودار 2-6 نشان داده ‌شده است، یک سؤال با پارامترهای آگاهی بیشتری در سطح برابر با ، نسبت به سؤالی با پارامترهای ایجاد می‌کند، با این که، سؤال دوم، در همین سطح به نقطه‌ی اوج آگاهی خود می‌رسد.
نمودار 2-6: میزان آگاهی سؤال فراهم شده بوسیله‌ی دو سؤال متفاوت