Skip to main content
SUPERVISOR
میرمحسن پدرام (استاد مشاور) مازیار پالهنگ (استاد راهنما)
 
STUDENT
Esmat Pakizeh Hajyyar
عصمت پاکیزه حاجی یار

FACULTY - DEPARTMENT

دانشکده مهندسی برق و کامپیوتر
DEGREE
Master of Science (MSc)
YEAR
1387

TITLE

Multi-Criteria Expertness based Cooperative Learning in Multi-Agent Systems
Since cooperation is the key to success in most biological and artificial communities, the capability of cooperation in multi-agent systems is critical in achieving better solutions. Multi-agent cooperative learning results in higher efficiency and faster learning compared to individual learning, due to more resources of knowledge and information. Better cooperative strategies may speed up and improve learning. Cooperative learning is a group learning activity organized so that learning is dependent on the socially structured exchange of information between learners in groups while each learner is held accountable for his/her own learning. The aim of this thesis is to contribute to an answer to the question: "How can agents enjoy of exchanging information during the cooperative learning process, in order to achieve better individual and overall system performances?"Researches in cooperative learning showed that the question is not only: "what type of information to exchange?", but also "how to use shared information?" Nowadays, the majority of researches in multi-agent cooperative learning field focus on Reinforcement Learning (RL) as their basic learning method. RL is one of the most prominent machine learning methods due to its unsupervised learning structure and continuous learning ability, even in a dynamic operating environment. Applying this learning to cooperative multi-agent systems not only allows each individual agent to learn from its own experience, but also offers the opportunity for the individual agents to learn from other agents in the system so that the speed of learning can be accelerated. During the life cycle, human learns through different experiences over different time periods of his life. Sometimes the experience is quite successful and sometimes it completely fails. Individual’s character is formed based on all of the gained experiences whether they are good or bad. Everyone will make his decisions based on his formed character. This is what we have attempted to translate into the realm of multi-agent systems learning. For this purpose, in our study a novel concept named Multi-Criteria Expertness is introduced that takes advantages of worthy information about different experiences of agents in a cooperative multi-agent system. In addition, in this thesis a new cooperative learning algorithm is proposed which enjoys of multi-criteria expertness concept and attempts to cooperate more efficiently. The proposed method has high ability to use more knowledge and information compared to existing methods which leads to high performance. the agents. Keywords: Multi-Agent Systems, Cooperative Learning, Multi-Criteria Expertness, Reinforcement Learning, Knowledge Transfer.
مشارکت کلید اصلی رسیدن به موفقیت در سیستم های طبیعی و مصنوعی به شمار می رود و از این رو مشارکت در سیستم های چندعامله به منظور رسیدن به راه حل های بهتر ضروری به نظر می رسد. انتظار می رود که یادگیری مشارکتی چندعامله در مقایسه با یادگیری مستقل عامل ها، به دلیل دارا بودن دانش و منابع اطلاعاتی بیشتر به نتایج بهتری از نظر کیفی و سرعت یادگیری دست یابد. استفاده از استراتژی های مشارکت بهتر منجر به افزایش سرعت و کیفیت یادگیری می شود. یادگیری مشارکتی نوعی فعالیت یادگیری گروهی سازمان دهی شده است که در آن یادگیری به مبادله اطلاعات ساختار یافته ازنظر اجتماعی ببین یادگیرنده ها بستگی دارد در حالی که هر یادگیرنده به تنهایی مسئول یادگیری خود نیز هست. هدف این پایان نامه ارائه روشی نوین برای پاسخ به این سوال است که "چگونه عامل ها می توانند از مبادله اطلاعات در طول فرآیند یادگیری مشارکتی به منظور دستیابی به عملکرد بهتر از نظر فردی و از نظر عملکرد کلی گروه استفاده کنند؟" تحقیقات در حوزه یادگیری مشارکتی نشان داده اند که در این حوزه دو سوال کلی مطرح است: "چه اطلاعاتی باید بین عامل ها مبادله شود؟" و "اطلاعات به اشتراک گذاشته شده، چگونه باید استفاده شوند؟" . امروزه بیشتر تحقیقات در حوزه یادگیری مشارکتی چندعامله از یادگیری تقویتی به عنوان روش یادگیری پایه خود استفاده می کنند. یادگیری تقویتی به دلیل ساختار یادگیری فاقد نظارت و قابلیت یادگیری پیوسته اش حتی در محیط های پویا، یکی از معتبرترین تکنیک های یادگیری ماشین به شمار می رود. استفاده از این نوع یادگیری در سیستم های چندعامله مشارکتی به هر عامل مستقل این اجازه را می دهد که علاوه بر این که از تجربیات خود می آموزد، از سایر عامل های حاضر در سیستم نیز بیاموزد و بدین ترتیب سرعت یادگیری افزایش یابد. انسان در طول دوره زندگی تجربیات مختلفی را در بازه های زمانی متفاوتی از زندگی اش می آموزد. گاهی تجربیات فرد به طور کامل موفقیت آمیز هستند و گاهی شکستی کامل محسوب می شوند. شخصیت یک فرد بر اساس در نظر گرفتن همه تجربیاتش در کنار هم شکل می گیرد. در واقع تصمیم های هر فرد بر اساس شخصیت شکل گرفته اش اتخاذ می شود. در این پایان نامه سعی بر این است که چنین مفهومی به حوزه یادگیری در سیستم های چندعامله منتقل شود. برای رسیدن به این هدف، در این مطالعه مفهوم جدیدی به نام خبرگی چندمعیاره معرفی شده است که اطلاعات ارزشمندی درباره تجربیات مختلف عامل ها در یک سیستم چندعامله مشارکتی را در بردارد. هم چنین در این پایان نامه الگوریتم یادگیری مشارکتی جدیدی پیشنهاد داده شده است که به منظور رسیدن به مشارکت بهتر از مفهوم خبرگی چندمعیاره استفاده می کند. روش پیشنهادی در مقایسه با سایر روش های موجود توانایی بالایی در استفاده از اطلاعات و دانش موجود دارد که همین امر نیز منجر به عملکرد بالای آن می شود. کلمات کلیدی: 1- سیستم های چندعامله 2-یادگیری مشارکتی 3-خبرگی چندمعیاره 4-یادگیری تقویتی 5- انتقال دانش

ارتقاء امنیت وب با وف بومی