(1-1)
مقدار T ، تعداد کل سؤالاتی است که توسط جفت از N آزمودنی در آزمون، مشترک است. ، تعداد جفت‌هایی از آزمون میان N آزمودنی است. تعداد کل سؤالات اجرا شده برای N آزمودنی است (ریکیسی، 2009).
درصد ارائه‌ی کمتر از حد سؤالات
نرخ پایین ارائه‌ی سؤال به این معناست که یک سؤال بندرت استفاده شود. خزانه‌ی سؤالی با تعداد بسیار زیادی سؤالی که با نرخ پایینی مواجهه می‌شود ، نشانه‌ای از استفاده کم از خزانه می‌باشد. از این‌رو هم به‌صرفه بودن طراحی سؤال و هم مناسب بودن روش انتخاب سؤال، با نرخ پایین مواجهه به چالش کشیده می‌شود. در اکثر مطالعات، سؤالی با نرخ مواجهه‌ی پایین‌تر از 02/0 به عنوان سؤالی با ارائه‌ی کمتر از حد، درنظر گرفته‌می‌شود (ریکیسی، 2009).
تعریف عملیاتی: در پژوهش حاضر نیز نرخ مواجهه‌ی پایین‌تر از 02/0 به عنوان سؤالی با ارائه‌ی کمتر از حد، درنظر گرفته‌می‌شود.
روش r-optimal در طراحی خزانه‌ی سؤال در روش اکتشافی برای تعیین اندازه‌ی خزانه
از آنجا که، فرض بر این است که سؤالات در سنجش انطباقی باید به گونه‌ای طراحی شوند که با برآورد توانایی آزمودنی مطابقت کامل داشته باشند، بنابراین، ویژگی‌های CAT تنها در صورتی مطابق انتظار عمل می‌کند که دارای خزانه‌ی سؤال بزرگی باشد که حاوی تعداد کافی سؤالات برای دامنه مورد نظر توانایی باشد، در کاربردهای عملی ساخت این‌گونه خزانه‌ها غیر ممکن می‌شود. از این‌رو روش p-optimal برای رفع این مشکل توسط ریکیسی به وجود آمد. ایده‌ی این روش این است که، همیشه نیاز نیست که سؤال ویژه‌ای که کاملاً با برآورد اخیر توانایی آزمودنی مطابقت دارد، در خزانه وجود داشته باشد، بلکه اگر تنها دارای حداقل نسبت- p (p-Proportion) باشد نیز برای بدست آوردن بیشینه درست نمایی برآورد توانایی کافی است. این روش این امکان را به محقق می دهد که خزانه‌ی سؤالی با اندازه معقول ایجاد کند تا ویژگی‌های CAT را محقق سازد ( ریکیسی، 2007).
روش r-optimal در طراحی خزانه‌ی سؤال در روش اکتشافی برای تعیین اندازه‌ی خزانه
از آنجا که مقیاس متریک و مقیاس پارامتر- b یکسان می‌باشد، پس تبدیل حداقل نسبت P به پهنای دامنه (Range) روی مقیاس متریک کاربرد این روش را آسان‌تر می کند (ریکیسی، 2010).
تعریف عملیاتی: در این پژوهش برای تعیین تعداد سؤالات مورد نیاز برای خزانه‌ی سؤال، از این شیوه استفاده می‌شود. به این صورت که حداقل مقدار p-optimal برابر با 96% و دامنه‌ی مربوط به آن برابر با 4/0 می‌باشد، که به آن پهنای bin گفته می‌شود. البته به منظور اهداف مقایسه‌ای، انتخاب مقادیر دیگری از p و r نیز در این پژوهش انجام می‌گیرد.
فصل دوم
مبانی نظری پژوهش
مبانی نظری پژوهش
این فصل از سه قسمت تشکیل شده است. در قسمت اول سنجش انطباقی کامپیوتری (CAT) و اجزای تشکیل دهنده‌ی و نحوه‌ی کارکرد آن توصیف می‌شود. در قسمت دوم مولفه‌های تعیین‌کننده و مهم در طراحی الگوریتم اجرایی CAT که بر طراحی خزانه‌ی سؤال نیز تأثیرگذارند، به صورت مجزا مورد بررسی قرار می‌گیرد. در قسمت سوم خزانه‌ی سؤال، مدل‌های مختلف طراحی خزانه‌ی سؤال بهینه و ملاک‌های ارزیابی خزانه‌ی سؤال شرح داده می‌شود.
مقدمه
خزانه‌ی سؤال نقش مهمی در سنجش انطباقی (CAT) بازی می‌کند. سؤالات در خزانه فهرست‌بندی و ساختار‌بندی می‌شوند، یا به‌عبارت دیگر، به هر یک از سؤالات اطلاعاتی نسبت داده می‌شود که انتخاب آنها را برای آزمون آسان می‌کند. خزانه‌های سؤال به “مجموعه‌ی نسبتاً بزرگی از پرسش‌های در دسترس در آزمون” اشاره می‌کند (میلمن و آرتر، 1984).
دو نوع خزانه‌ی سؤال در برنامه‌های سنجش انطباقی از هم متمایز می‌شوند. یکی از آنها خزانه‌ی اصلی نامیده می‌شود، که شامل سؤالاتی است که ممکن است برای آزمون مورد استفاده قرار گیرد. نوع دیگر خزانه‌ی سؤال عملیاتی می باشد که زیر مجموعه‌ی کوچکتری از خزانه‌ی اصلی است، و طوری طراحی می‌شود که به اندازه کافی کوچک باشد، به شکلی که کامپیوتر به آسانی بتواند سؤالات را بازیابی کند و هر زمان که لازم است مواجهه سؤال را به حداقل برساند، و در عین حال به اندازه کافی بزرگ باشد، به طوری‌که سؤالاتی با ویژگی‌های مورد نیاز را فراهم کند. به دلیل ماهیت پیوسته‌ای که بسیاری از آزمون‌های سنجش انطباقی در اجرا دارند، دوره‌ی مفید یک خزانه‌ی سؤال عملیاتی می تواند محدود باشد. و بعد از تعداد مشخصی استفاده باید کنار گذاشته شوند و به خزانه‌ی اصلی برگردانده شوند. البته تعدادی از سؤالات می توانند بعد از گذشت دوره‌ی زمانی معقولانه‌ای دوباره استفاده‌‌شوند(گو و ریکیسی، 2007).
ویژگی انطباقی CAT استفاده از فرم‌های از پیش طراحی شده‌ی آزمون (مانند آزمون‌های مداد-کاغذی) را غیرضروری می‌کند. این درصورتی است که، CAT به خزانه‌ی سؤالی نیاز دارد که از آن همه‌ی آزمون‌ها استخراج شود. یک خزانه‌ی سؤال نه تنها مخزنی از سؤالات می‌باشد، بلکه مجموعه‌ی سازمان‌یافته‌ای از سؤالات با صفاتی که برای هر یک مشخص شده می‌باشد. به عبارت دیگر، سنجش انطباقی کامپیوتری به خزانه‌ی سؤالی نیاز دارد که به‌خوبی طراحی شده باشد و شامل تعداد مناسبی از سؤالات برای ساخت آزمون‌های مجزایی که با سطوح توانایی آزمودنی‌ها مطابقت دارد، باشد. یک خزانه‌ی سؤال بهینه باید شامل سؤالاتی باشد که از لحاظ محتوایی تعادل داشته باشند و هزینه‌ی ساخت سؤال را کاهش دهد ( گو و ریکیسی، 2007؛ ریکیسی، 2010).
سؤالی که اغلب در طول طراحی خزانه‌ی سؤال پرسیده می‌شود این است که، “چه تعداد سؤال باید در خزانه وجود داشته باشد؟”. به‌طور ایده آل هر چه سؤالات بیشتر باشد، بهتر است، زیرا به ما این اجازه را می‌دهد که انتخاب بیشتری در سرهم کردن آزمون‌ها داشته باشیم و بندرت سؤالات یکسانی در آزمون‌ها تکرار شود و امنیت آزمون حفظ شود. در مواقعی که آزمون‌دهندگان به خزانه‌ی سؤال دست پیدا می‌کنند، اگر خزانه بزرگ باشد، برای آزمودنی‌ها دشوار است که پاسخ سؤالات را حفظ کنند. همچنین، خزانه‌های بزرگتر دارای سؤالاتی می‌باشند که از لحاظ محتوا، فورمت سؤال و ملاحظات آماری با آزمون مورد نظر تطابق بیشتری دارند (میلمن و آرتر، 1984). البته خزانه‌های بزرگ خطرهایی دارند که عبارتند از اینکه، سؤالاتی که به خزانه اضافه می‌شوند باید خوب نوشته شوند، از لحاظ محتوایی معتبر باشند، و از لحاط آماری نیز مناسب باشند (لیناکر، 1987). همچنین تعداد سؤالات نباید خیلی زیاد باشد بلکه باید به اندازه‌ای باشد که قابل کنترل باشد و به‌راحتی بازیافتنی باشد (گو و ریکیسی، 2007).
سنجش انطباقی کامپیوتری
سنجش انطباقی چیست؟