درس نظریه یادگیری محاسباتی (بهار ۹۳-۹۴)

در این درس با جنبه‌های نظری یادگیری ماشین آشنا می‌شویم. توصیف درس را می‌توانید اینجا بیابید.

منابع

۱

کتاب An Introduction to Computational Learning Theory نوشته Michael J. Kearns و Umesh Vazirani.

۱

کتاب Understanding Machine Learning: From Theory to Algorithms نوشته Shai Shalev-Shwartz و Shai Ben-David.


فیلم‌ها

اسلاید جلسه اول

آزمون‌ها

ارائه‌ای از آقای بن دیوید.

تمرین‌ها

پروژه

مباحث درس:

تعریف یادگیری احتمالا تقریبا درست

تیغ اوکام

جزوه تیغ اوکام

یادگیری PAC انکاری

جزوه یادگیری PAC

یادگیری خطی

بعد VC

جزوه بعد VC

تکلیف سری سوم (بعد VC و پیش‌گوی خطی):

از کتاب Understanding Machine Learning:

از فصل ۶ : ۳ و ۹

از فصل ۹: ۱ و ۵

الگوریتم تقویت

اگر الگوریتمی داشته باشیم که خطایش فقط کمی بهتر از ۱/۲ باشد می‌توان آن را تقویت کرد و الگوریتمی به خطای به میزان دلخواه کوچک به دست آورد.

یادگیری غیر یکنواخت

نشان می‌دهیم اگر کلاس فرضیه به صورت اجتماع شمارا عدد کلاس فرضیه که هر کدام قابل یادگیری هستند باشد، می‌توان کل کلاس فرضیه را به صورت غیر یکنواخت یادگرفت.

انتخاب و اعتبارسنجی مدل

هنگامی که با داده‌های موجود کلاس فرضیه‌ای را یادگرفتیم، چگونه بفهمیم نتیجه یادگیری چقدر قابل اعتماد است.

تمرین فصل ۷ و ۱۱ از کتاب SB:

از فصل ۷ تمرین‌های ۱ و ۶

از فصل ۱۱ تمرین ۲

یادگیری محدب

جزوه یادگیری محدب

تنظیم و پایداری

جزوه تنظیم و پایداری

حرکت در جهت گرادیان

تمرین‌های فصل ۱۲ و ۱۳و ۱۴:

مسئله‌های زیر از کتاب Understanding Machine Learning:

تمرین ۱۲٫۱ و ۱۴٫۲ و قسمت (مربع) اول تمرین ۱۳٫۱٫