Skip to main content
SUPERVISOR
مهران صفایانی (استاد راهنما) عبدالرضا میرزایی دمابی (استاد مشاور)
 
STUDENT
Saeed Momenzadeh
سعید مومن زاده

FACULTY - DEPARTMENT

دانشکده مهندسی برق و کامپیوتر
DEGREE
Master of Science (MSc)
YEAR
1392
In many fields of science and engineering, we encounter data with high dimensionality. Using the high dimensional data directly, owning to the many problems that it would cause is undesirable. Due to the limitations that real world problems pose, these data actually reside on suaces of much lower dimensionality. Learning these suaces is of special importance in the field of machine learning and pattern recognition. The reason for this importance is that in many cases due to the phenomenon of curse of dimensionality, using high dimesion data directly would severely degrade the performance of Suace learning methods try to find a suace that reduces the dimensionality of the data while maximally increasing a certain criterion. Many suace learning methods have been proposed one of the most well-known and widely used of which is canonical correlation analysis. In canonical correlation analysis our goal is to find two suaces for two sets of data so that in those suaces those sets of data are maximally correlated. This method is one of the most important tools for analysis of multiview data and has recieved a lot of attention lately. One of the most important advances in the field of suace learning has been the introduction of probabilistic suace learning methods. These methods interpret suace learning as solving a latent variable probabilistic model. The existence of probabilistic model offers many advantages the most important of which is that these models are extendible and its possible to extend the probabilistic model in different ways. Many suace learning methods are only applicable to vector data and when the data have structure (such as matrix data) they should be first vectorized. When this happens locality information gets lost and also the covariance matrices become huge. To avoid these problems two-dimensional methods have been proposed. These methods can reduce dimensionality of matrix data without vectrorization. In this thesis a two-dimensional probabilistic interpretation of canonical correlation analysis is proposed which has the benefits of probabilistic mathods and also avoids vectorizing matrix data. The proposed probabilistic model is based on matrix-variate distributions. Two approaches for solving this probabilistic model are proposed one of which is simplifying the model and solving it through the expectation maximisation algorithm and the other is solving the model using the variational method. The performance of the proposed method for synthetic and real data is assesed and its superiority to rival methods in experiments with real data is shown. Key word: Suace learning, Dimensionality reduction, Probabilistic Model, Matrix-variate distribution.
در بسیاری از زمینه‌های علمی و کاربردی ما با داده‌هایی مواجه می‌شویم که دارای ابعاد بسیار زیاد هستند و استفاده‌ی مستقیم از آن‌ها به دلیل مشکلات زیادی که پدید می‌آورد مطلوب نیست. در عین حال به دلیل محدودیت‌های مسائل واقعی، داده‌ها را معمولاً می‌توان ساکن در زیرفضاهایی با ابعاد بسیار کوچکتر در نظر گرفت. یادگیری این زیرفضاها در حوزه‌ی یادگیری ماشین و تشخیص الگو از اهمیت بسیاری برخوردار است. دلیل این اهمیت این است که در بسیاری از مواقع به دلیل پدیده‌ی نفرین بعد، استفاده‌ی مستقیم از داده‌های بعد بالا باعث افت شدید کارایی روش‌های دسته‌بندی می‌شود و لذا معمولا داده‌ها ابتدا کاهش بعد داده‌ می‌شوند. در روش‌های یادگیری زیرفضا سعی می‌شود زیرفضایی پیدا شود که در آن همراه با افزایش حداکثری یک ملاک مطلوب از داده، از بعد داده کاسته شود. برای این منظور روش‌های بسیاری پیشنهاد شده است که یکی از پرکاربردترین و معروف‌ترین آن‌ها تحلیل همبستگی معیار است. در تحلیل همبستگی معیار، هدف پیدا کردن یک جفت زیرفضا برای دو دسته داده است که تحت آن‌ها داده‌های ما بیشترین همبستگی را داشته باشند. این روش یکی از مهم‌ترین ابزارهای تحلیل داده‌های چند دیدگاهی است و در سال‌های اخیر بسیار مورد توجه قرار گرفته است. یکی از مهم‌ترین پیشرفت‌ها در زمینه‌ی یادگیری زیرفضا ابداع روش‌های احتمالاتی یادگیری زیرفضا بوده است. این روش‌ها، یادگیری زیرفضا را به صورت حل یک مدل احتمالاتی متغیر مخفی تعبیر می‌کنند. وجود مدل احتمالاتی مزیت‌های متعددی دارد که مهم‌ترین آن‌ها این است که روش گسترش‌ پذیر می‌شود و می‌توان مدل احتمالاتی را به گونه‌های مختلف گسترش داد. بسیاری از روش‌های یادگیری زیرفضا تنها بر روی داده‌های برداری قابل استفاده هستند و برای کاهش بعد داده‌هایی با فرم ماتریس (مانند تصویر) لازم است ابتدا آن‌ها برداری شوند. در این صورت اطلاعات همسایگی‌های محلی از بین می‌رود و همچنین ماتریس‌های هم‌پراش داده بسیار بزرگ می‌شوند. برای حل این مشکل‌ها روش‌های یادگیری زیرفضای دو بعدی ارائه شده‌اند که می‌توان از طریق آن‌ها روی داده‌هایی با فرم ماتریسی بدون نیاز به برداری کردن داده‌ها کاهش بعد انجام داد. در این پایان‌نامه تعبیری احتمالاتی‌ دو بعدی‌ برای تحلیل همبستگی پایه ارائه می‌شود که مزایای روش‌های احتمالاتی را دارا می‌باشد و از برداری کردن داده‌های ماتریسی نیز پرهیز می‌کند. مدل احتمالاتی ارائه شده مبتنی بر توزیع‌های متغیر ماتریسی است. برای حل این مدل دو رویکرد پیشنهاد شده است که یکی ساده سازی مدل و حل آن از طریق الگوریتم بیشینه‌سازی امید و دیگری حل مدل با استفاده از روش تغییراتی است. کارایی روش پیشنهادی برای داده‌های مصنوعی و واقعی بررسی شده است و برتری آن بر روش‌های موجود در آزمایش‌ها با داده‌های واقعی نشان داده شده است. کلید واژه: یادگیری زیرفضا، کاهش بعد، مدل احتمالاتی، توزیع متغیر ماتریسی.

ارتقاء امنیت وب با وف بومی