ملاحظه می­ شود که می­توان (۳-۱) را با بهره گرفتن از میانگین روی متغیرهای پنهان، از (۳-۴) تعیین کرد. برای داریم:

( اینجا فقط تکه ای از متن فایل پایان نامه درج شده است. برای خرید متن کامل پایان نامه با فرمت ورد می توانید به سایت feko.ir مراجعه نمایید و کلمه کلیدی مورد نظرتان را جستجو نمایید. )

که این، دقیقاً معادله (۳-۳) است. هم­چنین برای حالت داریم:
که این، دقیقاً معادله (۳-۳) است.
هر چند مدل­های (۳-۱) و (۳-۵) معادل­اند اما فرمول­بندی با متغیر پنهان منجر به کارایی الگوریتم تولید داده می­ شود، که در بخش ۳-۳ با جزئیات بیشتر بحث خواهد شد.
مقادیر وابستگی معمول را می­توان در مدل­های با متغیر وابسته پیوسته و آمیخته استفاده کرد. ژنه و نسلهوا (۲۰۰۷) و اسمیت و خالد (۲۰۱۲) نشان دادند در حالتی که حداقل یکی از متغیرهای وابسته، گسسته است، پارامتر وابستگی تابعی از تمام پارامترهای مدل است.
با شرط روی متغیر کمکی ، مقدار -کندال بین و عبارت است از:
به­ طوری­که تابع توزیع توأم شرطی به شرط است.
اثبات: مرجع
به­طورکلی، انتگرال بالا پیچیده است اما می­توان آن را با کمک انتگرال مونت کارلو تقریب زد. علاوه­بر­این، همانند حالت متغیرهای وابسته پیوسته، پارامترهای و تمایلی به تناظر یک به یک ندارند. مجازاً، باید مدل با یکی از این دو مدل پارامتری شود، در این­جا مطابق کارهای قبل عمل می­کنیم.

۳-۲-۳ مشخصه پیشین

درحالی­که توزیع­های پیشین در مدل رگرسیون نرمال به خوبی قابل درک هستند (به­عنوان مثال، جلمن و همکاران (۲۰۰۴) را ببینید )، باسکورت و ایوانس (۲۰۱۱)، ایوانس و جانگ (۲۰۱۱) و دوکیک و هوگان (۲۰۰۲) نشان دادند که پیشین­های نامعلوم اثر بسیار متفاوتی روی ضرایب مدل رگرسیون لوژستیک دارند. بنابراین، پیشین­های مربوط به برای مدل­های با متغیر وابسته پیوسته و آمیخته متفاوت­اند. برای روشن شدن مسئله، در شبیه­سازی تنها یک متغیر کمکی به کار برده­ایم. و برای مدل با متغیر وابسته پیوسته پیشین­های زیر را در نظر گرفته­ایم:
در حالت با متغیر وابسته آمیخته، توزیع­های پیشین را بر حسب مدل لوژستیک کناری انتخاب می­کنیم، بنابراین توزیع کناری پیشین تقریباً یکنواخت می­ شود و
به طوری که انتخاب به دامنه متغیر کمکی بستگی دارد.
برای مشخصه پیشین پارامترهای شامل در اسپلاین مکعبی، ماکسیمم تعداد گره­های مدل که با نشان داده می­ شود را ثابت در نظر می­گیریم. دامنه را از طریق تقسیم مقادیر مشاهده شده متغیر بر فواصل با طول مساوی ، گسترش می­دهیم و فرض می­کنیم که هر فاصله شامل بیش از یک گره است. برای کامل شدن مشخصه مدل، متغیرهای تصادفی کمکی را تعریف می­کنیم، به­ طوری­که به ازای هر ،
بنابران مدل (۳-۱) به صورت زیر بیان می­ شود:
ملاحظه می­کنید که تعداد حالت­های غیر صفر در مجموع، به مقادیر وابسته است. مدل را با در نظر گرفتن متغیرهای پنهان بسط می­دهیم و توزیع­های نمونه گیری آن­ها را تعریف می­کنیم. مشخصاً، فرض می­کنیم تعداد گره­های مورد استفاده در مدل باشد آن­گاه:
یعنی این­که، از توزیع پوآسن بریده از راست با پارامتر و مقدار ماکسیمم پیروی می­ کند. هم­چنین
شکل دلالت بر این دارد که، با داشتن گره­های مدل، احتمال همه ترکیبات فواصل شامل یک گره، یکسان است. پیشین­ها برای همه پارامترهای شامل در مدل اسپلاین، برای صرف­نظر از نوع متغیر وابسته انتخاب می­شوند. بنابراین
بر خلاف فان و همکاران (۲۰۱۰) که را از پیش تعیین شده و ثابت در نظر می­گرفتند در این­جا برای یک توزیع پیشین بیان کرده و فرض می­کنیم انتخاب، داده رهنمون باشد. مدل­های سلسله مراتبی مشابه برای نشان دادن تصحیح برای چندگانگی از رگرسیون بیزی استفاده می­ کنند. شبیه­سازی­ها نشان می­ دهند که مقدار نامناسب به نتایج ضعیف منجر می­ شود. می­توان ملاحظه کرد که تعداد پارامترها در ازای به طور خطی افزایش می­یابد و در این­جا در همه شبیه­سازی­ها از استفاده شده است. بررسی شبیه­سازی­ها نشان می­دهد که استفاده از بزرگ نه تنها برازش را بهبود نمی­بخشد بلکه به طور معنی­داری الگوریتم محاسبات را که برای نمونه گرفتن از توزیع پسین استفاده شده است، را کند می­ کند.

۳-۳ انتخاب مدل و برآورد

بر اساس الگوی بیزی، استنباط بر پایه توزیع پسین بردار پارامترها که با نمادگذاری می­ شود، انجام می­ شود. با وجود پیچیدگی مدل­های با متغیر وابسته پیوسته و آمیخته، از لحاظ تحلیلی ممکن است پیچیده باشد و خواص آن را تنها می­توان از طریق روش­های مونت کارلو بررسی کرد. در ادامه در مورد الگوریتم مونت کارلوی زنجیر مارکوفی برای نمونه گیری از بحث می­کنیم.

۳-۳-۱ نمونه گیری مونت کارلوی زنجیر مارکوفی از توزیع پسین

الگوریتم مونت کارلوی زنجیر مارکوفی برای متغیرهای وابسته پیوسته و آمیخته خیلی شبیه است. نمونه­بردار زیر را برای متغیر وابسته آمیخته شرح می­دهیم.

۳-۳-۱-۱ حالت متغیر وابسته آمیخته

شکل کلی الگوریتم از اصل تولید داده (تنر، ۱۹۹۶) پیروی می­ کند، بر این اساس که زنجیر مارکوف ارگودیک با مقادیر فضای پارامتر ساخته می­ شود و توزیع ایستا، است. زنجیر داده افزایی متناوباً با نمونه گیری از توزیع­های شرطی زیر ساخته می­ شود:
۱- توزیع شرطی متغیر پنهان (یا داده ­های گمشده)، ، به شرط پارامترهای و داده ­های مشاهده شده .
۲- توزیع شرطی پارامتر به شرط کامل بودن داده ­ها، .
از طرفی توزیع­های شرطی مورد نیاز ۱ و ۲ شکل متعارف ندارند. بنابراین برای به روز رسانی هر مؤلفه، از الگوریتم قدم زدن تصادفی متروپولیس یا الگوریتم متروپولیس هستینگس مستقل استفاده می­کنیم.
نمادگذاری ، وضعیت زنجیر مارکوف در زمان را بیان می­ کند، که در آن (، بردار همه گره­های مورد استفاده را نشان می­دهد و و تعریفی مشابه دارند) است. در زیر به روز رسانی در زمان مربوط به هر پارامتر و مقدار داده گمشده، توضیح داده شده است:
ها: به ازای هر که از قدم زدن متروپولیس درون گیبز برای نمونه گیری از توزیع شرطی استفاده می­کنیم، به­ طوری­که همه پارامترها به جز را شامل می­ شود. پیشنهاد در این مورد می­باشد. انتخاب مهم است اما هموار­سازی آن ممکن است وقت­گیر باشد، بنابراین از مونت کارلوی زنجیر مارکوفی استفاده می­کنیم، به این صورت که در طی یک دوره اولیه از ۱۰۰۰ تکرار، انحراف استاندارد پیشنهادی ثابت نگه داشته می­ شود سپس ، به صورت تعیین می­ شود، به­ طوری­که واریانس نمونه ­ای، نمونه­های است و برای مقابله با مواقعی که ممکن است صفر شود، تعریف شده است. توجه کنید، ثابت نرمال سازی توزیع شرطی روی احتمال پذیرش مورد نیاز هسته انتقال قدم زدن متروپولیس تأثیری ندارد. به­طورکلی این مطلب در مورد تمام توزیع­های شرطی که در زیر توضیح داده می­ شود درست است و توضیح می­دهد که چرا این الگوریتم حتی وقتی توزیع­های شرطی، ثابت­های نرمال بریده شده دارند، انجام می­ شود.
ها: شرط لازم برای نامنفی بودن است، چون ترجیح می­دهیم که با فضاهای وضعیت نامحدود کار کنیم، بنابراین مدل را در شرایط پارامتری کرده و مونت کارلوی زنجیر مارکوفی را برای اجرا می­کنیم. بعد از تکمیل نمونه گیری، نمونه­های را به مقیاس تبدیل می­کنیم. چون دامنه ، است می­توان از انتقال­های قدم زدن تصادفی متروپولیس درون گیبز، برای نمونه گیری از توزیع شرطی استفاده کرد. برای به روز رسانی از همان روش به روز رسانی­ ها، استفاده می­کنیم.
ها: متغیرهای پنهان ، با بهره گرفتن از متروپولیس هستینگس مستقل درون گیبز به روز رسانی می­شوند. بدون ساختار مفصل در مدل، توزیع شرطی لوژستیک بریده شده است (اگر ، بریده شده در؛ و اگر باشد، بریده شده در است) و می­توان با بهره گرفتن از روش تابع توزیع معکوس نمونه گیری کرد. در هر به روز رسانی، لوژستیک بریده شده را به جای توزیع مستقل پیشنهادی به کار می­بریم. نرخ پذیرش مشاهده شده بیشتر از ۸۰% است.
ها: هیچ محدودیت دامنه­ای برای ها که وجود ندارد و هیچ روش نمونه گیری مستقیمی ممکن نیست. بنابراین از قدم زدن تصادفی متروپولیس درون گیبز با الگویی مشابه ها استفاده می­کنیم.
ها: دو حالت و را به ازای را جداگانه بررسی می­کنیم:

1. 1. اگر باشد از روش قدم زدن تصادفی درون گیبز برای به روز رسانی ها با به کارگیری الگویی همانند به روز رسانی ها، استفاده می­کنیم.

1. 1. اگر باشد، از به عنوان یک پیشنهاد استفاده و آن را مطابق توزیع پیشینش به جای توزیع پسین شرطی به روز رسانی می­کنیم.

ها: به روز رسانی­ها با بهره گرفتن از روش متروپولیس هستینگس درون گیبز برای بردار کامل متغیر پنهان انجام می­شوند. برای به روز رسانی ، دو حالت زیر در نظر گرفته می­ شود:

1. 1. حذف یا اضافه کردن یک مؤلفه، یعنی تغییر تصادفی مؤلفه صفر به یک یا برعکس.

1. 1. تعویض دو مؤلفه، یعنی تعویض تصادفی دو مؤلفه از .

در کاربردها، در هر یک از روش­های بالا حذف/اضافه یا تعویض با احتمال انتخاب می­ شود.
ها: مشابه به روز رسانی ها در این­جا نیز دو حالت به صورت زیر داریم: