Skip to main content
SUPERVISOR
Hamed Narimani,MasoudReza Hashemi
حامد نریمانی (استاد مشاور) مسعودرضا هاشمی (استاد راهنما)
 
STUDENT
Zohreh Fotouhi
زهره فتوحی

FACULTY - DEPARTMENT

دانشکده مهندسی برق و کامپیوتر
DEGREE
Doctor of Philosophy (PhD)
YEAR
1390

TITLE

Modeling the EV Drivers Charging Behavior and Estimating its Parameters via Reinforcement Learning Approach
Modeling and identifying EV drivers' behavior is an essential prerequisite for charging stations (CSs) management, which improves their efficiency and service quality. In this thesis, we introduce a non-homogeneous behavioral Markov model (BMM) for describing a typical EV driver's charging behavior, where the model parameters depend on the behavioral characteristic of the driver, the vehicle specifications, and the EV battery level of charge. Validating the model based on real data shows its ability to describe the drivers' charging pattern well. The sensitivity analysis of the model indicates that the EV drivers' charging behavior affects the statistical characteristics of the CSs' behavioral-related parameters. This model is then applied to simulate the congestion status in public CSs and predict their future capacity to guarantee an appropriate service quality level. The results show that studying and controlling the EV drivers' behavior leads to a significant saving in CS capacity and results in consumer satisfaction, thus affecting the station owners' profitability. Applying BMM to design a system to identify the EV drivers' charging behavior needs an accurate and feasible parameter estimator. In this regard, we propose an RL-based algorithm to estimate the behavioral parameters. The evaluation results demonstrate the convergence of the proposed algorithms and validate the estimated behavioral parameters. Keywords: Electric Vehicle (EV), Characteristic Modeling, Electric Vehicle Charging, Congestion Control, Reinforcement Learning, Parameter Estimation.
سرعت بخشیدن به روند استفاده از خودروهای الکتریکی و بهره‌مند شدن از فواید آن‌ها نیازمند طراحی و توسعه ایستگاه‌های شارژ عمومی است. در این راستا، شناسایی و مدل‌سازی رفتار رانندگان خودروهای الکتریکی پیش‌نیاز مهمی برای نظم بخشیدن و مدیریت زیرساخت ایستگاه‌های شارژ است که کارایی و کیفیت سرویس‌دهی آن‌ها را بهبود می‌بخشد. در این رساله یک مدل تصادفی مارکوف ناهمگن برای توصیف رفتار شارژ راننده خودروی الکتریکی به عنوان یک نمونه از جامعه آماری رانندگان معرفی می‌شود. پارامترهای مدل به مشخصات رفتاری راننده، مشخصات و سطح شارژ باطری خودرو بستگی دارد. تنظیم پارامترهای مدل و راستی‌آزمایی آن بر اساس داده‌های واقعی رخدادهای شارژ نشان می‌دهد که مدل به خوبی می‌تواند الگوی شارژ رانندگان را توصیف کند. همچنین مدل پیشنهادی را می‌توان برای توصیف جوامع آماری ناهمگون رانندگان با چندین الگوی رفتاری مختلف به کار برد. تحلیل حساسیت مدل بیانگر آن است که تغییرات پارامترهای رفتاری رانندگان بر مشخصات آماری پارامترهای مرتبط با رفتار ایستگاه تاثیر می‌گذارد. سپس مدل پیشنهادی برای شبیه‌سازی رفتار شارژ رانندگان در چندین سناریو به منظور ارزیابی وضعیت ازدحام ایستگاه‌های شارژ عمومی و پیش‌بینی ظرفیت مورد نیاز ایستگاه شارژ در آینده برای تضمین فراهم کردن سطح مناسبی از کیفیت سرویس برای رانندگان به کار رفته است. نتایج این مطالعه نشان داد که تعداد شارژ‌کننده‌های مورد نیاز ایستگاه کاهش می‌یابد در صورتی که جامعه آماری رانندگان ایستگاه نگرانی بیشتری از عدم دریافت سرویس شارژ داشته و با سطح شارژ بیشتر باطری به ایستگاه مراجعه کنند و با سطح شارژ باطری کمتری نسبت به معمول و به سرعت از شارژ‌کننده جدا شوند. همچنین اگر دوره‌های زمانی شلوغ ایستگاه کوتاه و پراکنده باشد، ایستگاه به تعداد شارژ‌کننده‌ی کمتری نیاز دارد. طراحی یک سیستم پویای شناسایی رفتار شارژ مبتنی بر مدل رفتاری پیشنهادی به عنوان یکی از کاربردهای مهم آن، مستلزم تخمین صحیح پارامترهای مدل به روشی عملی است. در این رساله الگوریتم‌های یادگیری تقویتی مبتنی بر QL و DQN برای تخمین این پارامترها معرفی شده‌ است. تابع پاداش این الگوریتم‌ها برمبنای آزمون نیکویی برازش دو نمونه‌ای کولموگروف اسمیرنف طراحی شده‌ است. نتایج به دست آمده از ارزیابی‌ها نشانه همگرایی الگوریتم‌های پیشنهادی و تا?یید صحت پارامترهای رفتاری تخمین زده شده‌ است. یکی دیگر از کاربردهای مدل پیشنهادی، تعیین نحوه تغییر پارامترهای رفتاری رانندگان همکاری‌کننده با ایستگاه تحت تأثیر قیمت‌گذاری هوشمند با هدف کاهش احتمال مسدود شدن از سرویس شارژ و بهره‌برداری بیشتر از امکانات موجود در ایستگاه است. به این منظور، در این رساله سه مکانیزم قیمت‌گذاری معرفی می‌شوند: در مکانیزم اول از وضع تخفیف بر قیمت شارژ در ساعات خلوت و جریمه بر قیمت شارژ در ساعات شلوغ استفاده می‌شود، در مکانیزم دوم با فرض استفاده از شارژ‌کننده‌ها با نرخ شارژ متغیر، متناسب با کاهش نرخ شارژ در دوره‌های زمانی شلوغ، قیمت فروش برق گران می‌شود و در مکانیزم سوم با افزایش مدت زمان شارژ خودرو از سطح آستانه مشخص در دوره زمانی شلوغ، قیمت شارژ گران می‌شود. سپس با استفاده از یک الگوریتم پیشنهادی مبتنی بر یادگیری تقویتی ،QL نحوه مناسب تغییر پارامترهای رفتاری زیرمجموعه‌ای از رانندگان که حاضر به همکاری با ایستگاه می‌باشند، مشخص می‌شود. این تغییرات به صورت پیشنهاد به تغییر زمان مراجعه یه ایستگاه بر اساس سطح شارژ باطری و مدت زمان شارژ در دوره‌های زمانی شلوغ و خلوت به رانندگان همکار اعلام می‌شود. نتایج شبیه‌سازی‌ها صحت اجرای الگوریتم QL و همگرایی آن و نیز مو?ثر بودن مکانیزم‌های قیمت‌گذاری را نشان می‌دهد. کلید واژه ها : خودروی الکتریکی، مدل‌سازی مشخصه، شارژ خودروی الکتریکی، کنترل ازدحام، یادگیری تقویتی، تخمین پارامتر

ارتقاء امنیت وب با وف بومی