حال سؤال مهمی که مطرح می‌شود، این است که، برای طراحی یک خزانه‌ی سؤال بهینه چه تلاشی باید صورت گیرد؟. بدیهی است که در طراحی یک خزانه‌ی سؤال ما باید ویژگی‌های آماری و غیر آماری سؤال را در‌نظر بگیریم. برای مثال، توزیع پارامترهای سؤال مطلوب باید چگونه باشد؟ سؤالات موجود در خزانه‌ی سؤال CAT باید چه صفاتی داشته‌باشند؟. از طرف دیگر، پرسش‌هایی از قبیل؛ چه چیزی باعث می‌شود که اندازه خزانه‌ی سؤال کافی باشد یا به عبارتی به چند سؤال در خزانه نیاز داریم؟، نیز باید درنظر گرفته‌شود. ‌بنابرین‏، به طور خلاصه، زمانی‌که یک خزانه‌ی سؤال بهینه طراحی می‌شود، باید حداقل سه عنصر اساسی درنظر‌گرفته‌شود، یعنی، ویژگی‌های آماری، ویژگی‌های غیر آماری و اندازه خزانه‌ی سؤال. ویژگی‌های آماری شامل پارامترهای سؤال می‌باشند، ویژگی‌های غیر آماری شامل ویژگی‌های محتوایی، توزیع کلید و مهارت‌های شناختی و غیره می‌باشند (هی و ریکیسی، ۲۰۱۰).

از آنجا که پژوهش‌ها و مطالعات انجام گرفته در این حوزه، هیچ یک به طور جامع به بررسی تمام مؤلفه‌‌ها و مفروضاتی که بر عملکرد CAT تاثیر می‌گذارد، نپرداختند. و هر یک تنها به مؤلفه‌‌ای از CAT برای طراحی خرانه سؤال توجه کردند، جای خالی مطالعه‌ا‌ی که بتواند به همه‌ مؤلفه‌‌های CAT توجه کند و همچنین الگویی مناسبی برای خزانه‌ی سؤال طراحی کند، در ادبیات مربوط به سنجش انطباقی کامپیوتری (CAT) به چشم می‌خورد. در پژوهش‌های مربوط به رویکرد اول، خزانه‌های سؤال از خزانه‌های موجود طراحی می‌شوند و ‌بنابرین‏ هدف اولیه طراحی خزانه‌ی سؤال را زیر سؤال می‌برد. در رویکرد دوم، مؤلفه‌‌های امنیتی CAT برای وارد شدن به شبیه‌سازی با چالش‌هایی روبرو هستند، از این‌رو، کمتر در پژوهش‌های مرتبط با این رویکرد ‌به این مؤلفه‌‌ها توجه شده است. همچنین کاربرد این رویکرد در مدل‌های دو و سه پارامتری نیز در پژوهش‌های اندکی انجام شده و یا در پژوهش‌های اخیری بوده است که هنوز بر روی عملکرد خزانه‌های شبیه‌سازی شده مطالعه‌ای صورت نگرفته است. ضرورت تلفیق مزیت‌های این دو رویکرد، در تحقیقات مربوط به طراحی خزانه‌ی سؤال بهینه در پژوهش‌های پیشین هم خاطر نشان شده است (گو و ریکیسی، ۲۰۰۷؛ هی و ریکیسی، ۲۰۱۰)، امّا، تا به حال چنین پژوهشی در ادبیات مربوط به خزانه‌ی سؤال صورت نگرفته است. از این‌رو پژوهش حاضر قصد دارد تا از طریق ایجاد مطالعه‌ای عملیاتی و تجربی به همراه مطالعه‌ شبیه‌سازی‌شده و سازمان یافته‌ از کلیّه‌ی این مؤلفه‌‌ها با کنترل و دستکاری مؤلفه‌‌های دیگر به ساخت الگویی بهینه برای طراحی خزانه‌ی سؤال CAT، بپردازد، تا بتواند کارکرد سنجش‌های انطباقی را بهبود بخشد. روش شبیه‌سازی در این مطالعه روش مونت کارلو است که به همراه برنامه‌نویسی ریاضی اعداد صحیح به روش WDM برای وارد کردن ویژگی‌های محتوایی، الگوی بهینه طراحی می‌شود. در این پژوهش، سعی بر این است که، از مزایای رویکرد برنامه‌نویسی ریاضی در غنی‌سازی رویکرد اکتشافی ریکیسی استفاده شود، ولی اساس و زیربنای شبیه‌سازی بر رویکرد اکتشافی ریکیسی (۲۰۰۳) و تعمیم آن به مدل‌های دو و سه پارامتری، بنا شده است.

اهمیت و ضرورت مسئله

خزانه‌ی سؤال نقش با اهمیتی در سنجش انطباقی کامپیوتری (CAT) دارد (گو، ریکیسی، ۲۰۰۷). مشخصات خزانه سؤال به منظور بهبود عملکرد CAT بسیار مهم می‌باشند. نوع طراحی خزانه سؤال بر عملکرد CAT تاثیر می‌گذارد (ریکیسی، ۲۰۱۰). یکی از مباحثی که اغلب در طراحی خزانه‌ی سؤال نادیده گرفته می‌شود، این است که چگونه یک خزانه‌ی سؤال به یک روش تجربی و روش نظامدارتری طراحی و گسترش یابد، و به عبارتی ایجاد طرح ‌نظام‌داری که مطالب اصلی ترکیب بهینه‌ای از سؤالات را با مشخصه‌ های روان‌سنجی و ویژگی‌های محتوایی مورد نظر تامین کند، به چشم نمی‌خورد. طرحی که به عنوان یک نتیجه و الگوی طراحی خزانه سؤال بتواند به طراحان سؤال کمک کند که نه تنها در نوشتن سؤالات به شکل (چند گزینه ای، پاسخ باز و غیره) آن ها و پوشش محتوایی آن توجه کنند، بلکه به مشخصه‌ های روان سنجی مطلوب سؤالات نیز توجه کنند. در این میان طرحی بهینه است که شامل سؤالات مناسبی برای هر کدام از آزمون‌های مجزای CAT باشد و ما را قادر سازد تا به سطح مطلوبی از دقت برسیم. همچنین مهمترین عاملی که یک الگوی طراحی سؤال را بهینه می‌کند این است که شامل سؤالاتی باشد که به خوبی متعادل شده باشند، به طوری‌که استفاده بهینه‌ای از سؤال شود و هزینه طراحی سؤال را به حداقل برساند (گو و ریکیسی، ۲۰۰۷).

فرایند نوشتن سؤالات معمولاً از طریق مشخصاتی که به طور مناسبی برای آزمون تعیین می‌شود، آموزش داده ‌می‌شود. به طوری‌که صفات محتوایی و توزیع‌شان را معین می‌کند. تا حد لزوم شرایط صفات آماری از قبیل دامنه دشواری و ضریب تشخیص را می‌توان مشخص کرد، امّا اغلب بسیار دشوار است که به سادگی ‌به این سطح دشواری و ضریب تشخیص مشخص‌شده برسیم، زیرا مقادیر صفات آماری برای تک تک سؤالات به آسانی پیش‌بینی ‌نمی‌شود. با ‌‌این وجود در سطح خزانه سؤال، ویژگی‌های آماری الگوی ثابتی از همبستگی با صفات محتوایی نشان می‌دهند. اگر این الگوها استفاده شوند، تلاش‌هایی که برای نوشتن سؤال صرف می‌شود به حداقل می‌رسد. به‌ واسطه مدل یابی دقیقی که از شیوه CAT صورت می‌‌گیرد، مشخصات آزمون برای خزانه سؤال می‌تواند با شبیه‌سازی کامپیوتری ایجاد شود تا تعداد سؤالات مورد نیاز به همراه صفات ویژه و مشخصات روانسنجی آن ها قابلیت پیش‌بینی^[۶۸] پیدا کند (وندر لیندن، ۱۹۹۹؛ ریکیسی، ۲۰۰۳).

‌بنابرین‏، توصیف شیوه هایی برای طراحی خزانه‌های سؤال برای آزمون‌های انطباقی کامپیوتری و بررسی این‌که آیا استفاده از این شیوه های طراحی خزانه سؤال کارا می‌باشند و مزیت‌های CAT را از بین نمی‌برند، همواره یکی از اهداف مهم در مطالعات مربوط به خزانه سؤال‌ بوده ‌است. از این‌رو شیوه هایی مورد نیاز است که شبیه‌سازی کاملی برای CAT ایجاد کند، تا شامل مواردی مانند تعادل محتوایی، کنترل مواجهه بیش از حد سؤالات و روش انتخاب سؤال باشد (ریکیسی، ۲۰۱۰).