1. سنجش انطباقی کامپیوتری (CAT) شبیه‌سازی شده: برنامه‌ شبیه‌سازی شده‌ CAT با تمام مؤلفه‌‌های اجرایی که در آزمون عملیاتی وارد شده است، در نرم افزار MATLAB ایجاد و شبیه‌سازی می‌شود.

  • خزانه‌ی سؤال بهینه[۷۹]

تعریف نظری: خزانه سؤال هنگامی بهینه است که الگوریتم انتخاب سؤال به گونه‌ای باشد که استفاده از سؤال را بیشینه کند، به طوری‌که همه سؤالات در خزانه استفاده شوند. و بدین ترتیب، مطمئن می‌شویم که از لحاظ اقتصادی صرفه‌جویی مناسبی برای طراحی سؤال صورت گرفته‌ است (استوکینگ و سوآن‌سون، ۱۹۹۸). همچنین، خزانه سؤال بهینه خزانه‌ای است که، هر وقت الگوریتم انتخاب سؤال CAT، سؤالی را برای اجرا جستجو می‌کند، دقیقاً همان سؤالی که مورد نظر و مطلوب ما می‌باشد، در خزانه سؤال موجود باشد. حال اگر هر زمانی‌که الگوریتم انتخاب سؤال، سؤالی را انتخاب می‌کند، سؤال مطلوبی دردسترس باشد، خزانه سؤال بهینه خواهد بود (ریکیسی، ۲۰۱۰).

تعریف عملیاتی: در پژوهش حاضر خزانه سؤال بهینه از طریق رویکرد اکتشافی (“bin-and-union”) و مدل حداقل مجذورات (WDM) در برنامه‌ MATLAB شبیه‌سازی می‌شود و ویژگی‌ها و پارامترهای سؤالات در پایگاه اطلاعات آن ذخیره می‌شود. همچنین، کلیه مؤلفه‌‌های تأثیر‌گذار بر نحوه عملکرد خزانه نیز در همین برنامه بررسی و وارد می‌شود.

  • نرخ مواجهه سؤال[۸۰]

تعریف نظری: نرخ مواجهه برای یک سؤال عبارت است از: تعداد دفعات اجرای یک سؤال تقسیم بر تعداد آزمودنی‌ها (گو و ریکیسی، ۲۰۰۷).

به‌عبارت دیگر، نرخ ارائه‌ یک سؤال می‌تواند، به عنوان نسبت تعداد مشاهده ‌شده‌ اجراهای یک سؤال بر تعداد کل آزمودنی‌ها تعریف شود. سطح متعادل ارائه‌ یک سؤال به طور کلی مطلوب در‌نظر‌گرفته‌ می‌شود. نرخ بالای ارائه‌ یک سؤال باعث افزایش خطر آشنایی آزمودنی‌های آینده با سؤال می‌شود. و بدین وسیله هم امنیت آزمون و هم اعتبار آن را با تهدید مواجهه می‌کند. ‌بنابرین‏ درصد سؤالات بیش ارائه شده به عنوان ملاک با اهمیتی برای ارزیابی موفقیت یک برنامه‌ CAT باید محاسبه شود. ارزش بحرانی که به طور معمول برای ارزیابی ارائه‌ بیش از حد سؤال، استفاده می‌شود، مقدار ۲/۰ می‌باشد (هاو و چانک، ۲۰۰۱)، البته در بسیاری از پژوهش‌ها ‌در مورد سؤالاتی با درجه دشواری بالا، برابر با ۳۳/۰ است (گو و ریکیسی، ۲۰۰۷).

تعریف عملیاتی: در پژوهش حاضر مواجهه سؤال به روش سیمپسون- هتر با “نرخ مواجهه هدف[۸۱]” برابر با کنترل می‌شود.

  • نرخ همپوشی سؤال[۸۲]

نرخ همپوشی سؤال که گاهی اوقات نرخ همپوشی آزمون نیز نامیده می‌شود، به عنوان تعداد سؤالات مشترکی که توسط دو آزمودنی‌ – که به طور تصادفی انتخاب شده‌اند- پاسخ داده ‌می‌شوند، تقسیم بر طول آزمون، تعریف می‌شود. معادله (۱-۱) نحوه محاسبه میانگین همپوشی سؤال را نشان می‌دهد:

(۱-۱)

مقدار T ، تعداد کل سؤالاتی است که توسط جفت از N آزمودنی در آزمون، مشترک است. ، تعداد جفت‌هایی از آزمون میان N آزمودنی است. تعداد کل سؤالات اجرا شده برای N آزمودنی است (ریکیسی، ۲۰۰۹).

  • درصد ارائه‌ کمتر از حد سؤالات[۸۳]

نرخ پایین ارائه‌ سؤال ‌به این معنا است که یک سؤال بندرت استفاده شود. خزانه‌ی سؤالی با تعداد بسیار زیادی سؤالی که با نرخ پایینی مواجهه می‌شود ، نشانه‌ای از استفاده کم از خزانه می‌باشد. از این‌رو هم ‌به صرفه بودن طراحی سؤال و هم مناسب بودن روش انتخاب سؤال، با نرخ پایین مواجهه به چالش کشیده می‌شود. در اکثر مطالعات، سؤالی با نرخ مواجهه پایین‌تر از ۰۲/۰ به عنوان سؤالی با ارائه‌ کمتر از حد، درنظر گرفته‌می‌شود (ریکیسی، ۲۰۰۹).

تعریف عملیاتی: در پژوهش حاضر نیز نرخ مواجهه پایین‌تر از ۰۲/۰ به عنوان سؤالی با ارائه‌ کمتر از حد، درنظر گرفته‌می‌شود.

  • روش r-optimal در طراحی خزانه‌ی سؤال در روش اکتشافی برای تعیین اندازه خزانه

از آنجا که، فرض بر این است که سؤالات در سنجش انطباقی باید به گونه‌ای طراحی ‌شوند که با برآورد توانایی آزمودنی مطابقت کامل داشته باشند، ‌بنابرین‏، ویژگی‌های CAT تنها در صورتی مطابق انتظار عمل می‌کند که دارای خزانه‌ی سؤال بزرگی باشد که حاوی تعداد کافی سؤالات برای دامنه مورد نظر توانایی باشد، در کاربردهای عملی ساخت این‌گونه خزانه‌ها غیر ممکن می‌شود. از ‌این‌رو روش p-optimal برای رفع این مشکل توسط ریکیسی به وجود آمد. ایده این روش این است که، همیشه نیاز نیست که سؤال ویژه‌ای که کاملاً با برآورد اخیر توانایی آزمودنی مطابقت دارد، در خزانه وجود داشته باشد، بلکه اگر تنها دارای حداقل نسبت- p (p-Proportion) باشد نیز برای به دست آوردن بیشینه درست نمایی برآورد توانایی کافی است. این روش این امکان را به محقق می‌دهد که خزانه‌ی سؤالی با اندازه معقول ایجاد کند تا ویژگی‌های CAT را محقق سازد ( ریکیسی، ۲۰۰۷).

  • روش r-optimal در طراحی خزانه‌ی سؤال در روش اکتشافی برای تعیین اندازه خزانه

از آنجا که مقیاس متریک و مقیاس پارامتر- b یکسان می‌باشد، پس تبدیل حداقل نسبت P به پهنای دامنه (Range) روی مقیاس متریک کاربرد این روش را آسان‌تر می‌کند (ریکیسی، ۲۰۱۰).

تعریف عملیاتی: در این پژوهش برای تعیین تعداد سؤالات مورد نیاز برای خزانه‌ی سؤال، از این شیوه استفاده می‌شود. ‌به این صورت که حداقل مقدار p-optimal برابر با ۹۶% و دامنه مربوط به آن برابر با ۴/۰ می‌باشد، که به آن پهنای bin گفته می‌شود. البته به منظور اهداف مقایسه‌ای، انتخاب مقادیر دیگری از p و r نیز در این پژوهش انجام می‌گیرد.

فصل دوم

مبانی نظری پژوهش

مبانی نظری پژوهش

این فصل از سه قسمت تشکیل شده ‌است. در قسمت اول سنجش انطباقی کامپیوتری (CAT) و اجزای تشکیل دهنده و نحوه کارکرد آن توصیف می‌شود. در قسمت دوم مؤلفه‌‌های[۸۴] تعیین‌کننده و مهم در طراحی الگوریتم اجرایی CAT که بر طراحی خزانه‌ی سؤال نیز تأثیرگذارند، به صورت مجزا مورد بررسی قرار می‌گیرد. در قسمت سوم خزانه‌ی سؤال، مدل‌های مختلف طراحی خزانه‌ی سؤال بهینه و ملاک‌های ارزیابی خزانه‌ی سؤال شرح داده ‌می‌شود.

مقدمه

خزانه‌ی سؤال نقش مهمی در سنجش انطباقی (CAT) بازی می‌کند. سؤالات در خزانه ‌فهرست بندی و ساختار‌بندی می‌شوند، یا به‌عبارت دیگر، به هر یک از سؤالات اطلاعاتی نسبت داده می‌شود که انتخاب آن ها را برای آزمون آسان می‌کند. خزانه‌های سؤال به “مجموعه‌ نسبتاً بزرگی از پرسش‌های در دسترس در آزمون” اشاره می‌کند (میلمن و آرتر، ۱۹۸۴).

دو نوع خزانه‌ی سؤال در برنامه های سنجش انطباقی از هم متمایز می‌شوند. یکی از آن ها خزانه‌ی اصلی[۸۵] نامیده می‌شود، که شامل سؤالاتی است که ممکن است برای آزمون مورد استفاده قرار گیرد. نوع دیگر خزانه‌ی سؤال عملیاتی[۸۶] می‌باشد که زیر مجموعه‌ کوچکتری از خزانه‌ی اصلی است، و طوری طراحی می‌شود که به اندازه کافی کوچک باشد، به شکلی که کامپیوتر به آسانی بتواند سؤالات را بازیابی کند و هر زمان که لازم است مواجهه سؤال را به حداقل برساند، و در عین حال به اندازه کافی بزرگ باشد، به طوری‌که سؤالاتی با ویژگی‌های مورد نیاز را فراهم کند. به دلیل ماهیت پیوسته‌ای که بسیاری از آزمون‌های سنجش انطباقی در اجرا دارند، دوره‌ مفید یک خزانه‌ی سؤال عملیاتی می‌تواند محدود باشد. و بعد از تعداد مشخصی استفاده باید کنار گذاشته شوند و به خزانه‌ی اصلی برگردانده شوند. البته تعدادی از سؤالات می‌توانند بعد از گذشت دوره‌ زمانی معقولانه‌ای دوباره استفاده‌‌شوند(گو و ریکیسی، ۲۰۰۷).

موضوعات: بدون موضوع  لینک ثابت


فرم در حال بارگذاری ...