مدیریت پنجره های لغزان در سیستم های پردازش جریان داده

STUDENT

DEGREE

YEAR

A new type of data processing has been introduced in recent years, that is different from the data processing performed by common database management systems. This type of data processing that is performed on streams of data is called data stream processing. A data stream is a sequence of probably infinite number of data elements which are produced by a data source. Queries that are issued on data streams must continuously be evaluated by the stream processing system, hence they are called “continuous queries”. Because of the inability to store all data received from a stream, the system cannot evaluate queries over the whole history of data, so users must limit the range of data elements on which queries will be evaluated by specifying a window on them. Sliding windows, which are the most common types of windows, are periodically advanced over data streams after arrival of some new data elements or after a specified time. When a sliding window slides, the system must evaluate queries that have been defined on it. In this research we proposed some efficient algorithms for management of different types of sliding windows, especially in large-scale data stream management systems with high input rates and large number of users or continuous queries. The applications of sensor networks, which are one of the main sources of data streams, have been increased in recent years. With the increasing growth of sensor network usage the collection and integration of data from heterogeneous sensor networks and distributed processing of continuous queries over these data have become a new challenge. Therefore, we need systems that provide dynamic management and integration of sensor networks. GSN (Global Sensor Networks) is one of these systems and its function is to provide a general system for integration and management of any type of sensor networks. In this work a sliding window management subsystem is designed and implemented based on the proposed algorithms. Many of the features of a data stream processing system are also modeled on common database management systems, since they are not equipped to store and process streaming data.

در چند سال اخیر نیاز به گونه‌ی جدیدی از پردازش داده‌ها بوجود آمده است که با پردازش داده‌هایی که توسط پایگاه‌های داده صورت می‌گیرد متفاوت می‌باشد. این نوع پردازش داده که بر روی جریانی از داده‌ها انجام می‌گیرد، پردازش داده‌های جریانی یا پردازش جریان داده نامیده می‌شود. جریان داده، یک توالی معمولاً بی‌کران از داده‌هایی است که توسط یک منبع تولید می‌شوند. درخواست‌هایی که بر روی جریان‌های داده تعریف می‌شوند، درخواست‌های پیوسته نامیده می‌شوند زیرا به صورت پی‌در‌پی باید توسط سیستم پردازش جریان داده اجرا شوند. با توجه به ویژگی بی‌کران بودن داده‌های جریانی و عدم امکان ذخیره‌ی تمامی داده‌های یک منبع جریان، نمی‌توان به درخواست‌هایی که باید بر روی تمام این داده‌ها انجام شوند، پاسخگویی کرد. به همین علت، اغلب بازه‌های محدودی به نام پنجره، بر روی داده‌ها تعریف می‌شود و درخواست‌ها بر روی آنها اجرا می‌شوند. پنجره‌های لغزان که معمول‌ترین نوع پنجره‌ها می‌باشند، با رسیدن داده‌های جدید و یا پس از سپری شدن مدت زمان خاصی، به جلو لغزانده شده و باعث اجرای درخواست می‌شوند. در این تحقیق روش‌هایی برای مدیریت انواع پنجره‌های لغزان ارائه شده است که بتوانند به صورت مؤثر در سیستم‌های پردازش جریان داده‌ای که نرخ داده‌ی بالایی‌ دارند و تعداد زیادی کاربر بر روی این داده‌ها درخواست صادر کرده‌اند، مورد استفاده قرار گیرند. شبکه‌های حسگر، یکی از اصلی‌ترین منابع تولید داده‌های جریانی می‌باشند که امروزه کاربردهای زیادی پیدا کرده‌اند. با رشد روزافزون استفاده از شبکه‌های حسگر، یکپارچه‌سازی داده‌های شبکه‌های ناهمگون و پردازش توزیع شده‌ی درخواست‌ها، از موضوعات مهم این زمینه می‌باشند و به همین علت، وجود سیستم‌هایی که مدیریت و یکپارچه‌سازی پویای شبکه‌های حسگر را فراهم کنند، ضروری می‌باشد. GSN یکی از این سیستم‌هاست و با هدف ایجاد امکان جمع‌آوری و پردازش داده‌های شبکه‌های حسگر مختلف طراحی شده است. در این تحقیق یک زیرسیستم مدیریت پنجره‌های لغزان با استفاده از روش‌های ارائه شده نیز برای GSN طراحی و پیاده‌سازی شده است. برای ذخیره‌سازی داده‌های جریانی و انجام درخواست‌های پیوسته بر روی آنها از پایگاه داده‌های رایج استفاده شده است و بسیاری از نیازمندی‌های یک سیستم پردازش جریان داده با استفاده از این پایگاه‌های داده فراهم شده‌اند.