SUPERVISOR
Hamed Narimani,Seyed MohammadAli Khosravifard
حامد نریمانی (استاد مشاور) سیدمحمدعلی خسروی فرد (استاد راهنما)
STUDENT
Sayed Jalal Zahabi
سید جلال ذهبی
FACULTY - DEPARTMENT
دانشکده مهندسی برق و کامپیوتر
DEGREE
Doctor of Philosophy (PhD)
YEAR
1389
TITLE
Design and Analysis of Optimal and Suboptimal Fix-Free Codes
Fix-free codes, also known as reversible variable length codes, are codes in which no codeword is a prefix or suffix of any other codeword. These codes provide instantaneous bidirectional decoding, i.e., any sequence of fix-free codewords can be decoded in both forward and backward directions. This results in extra error resilience and faster decoding. Due to their desirable features, fix-free codes are used in the video compression standards H.263+ and MPEG-4. Fix-free are also of practical interest within problems in information retrieval where data is stored sequentially and records can be accessed from both ends, and in searching or indexing of compressed files. Prefix-free codes with symmetric codewords constitute a special justify; MARGIN: 0in 0in 12pt" Dealing with fix-free codes is generally much harder than prefix-free codes. This is essentially because, there is no Kraft-type necessary and sufficient conidition for the existence of a fix-free code. The main consequence of the lack of such condition is that there is no simple algorithm, such as the Huffman algorithm, for obtaining the optimal (minimum redundancy) fix-free code. This is why the optimal fix-free code is not understood very well, and its performance analysis is difficult. One of the recent approaches for identifying the optimal fix-free code, is to use the table of dominant sequences, which are codelength sequences that are potentially optimal for some source. Our goal in this thesis is: 1) to study and chracterize the optimal fix-free code and its corresponding dominant sequences in order to evaluate the cost of using fix-free codes in terms of the redundancy; 2) to provide efficient suboptimal fix-free codes. In this regards, we begin by considering the difference between the redundancy of the optimal asymmetric/symmetric fix-free code, and that of the optimal prefix-free code as the penalty of benefiting from the desired properties of fix-free codes. This penalty is then studied from different perspectives.In particular, it is shown that the average penalty of asymmetric fix-free codes is less than 0.21 bit per symbol. Moreover, it is proved that when the source alphabet size is sufficiently large, for almost all sources, the penalty is less than or equal to 0.182 bit per symbol. Regarding symmetric fix-free codes, it is shown that the average penalty tends to infinity as the source alphabet size increases. The maximum probability of optimality is then introduced as a new criterion for selecting a single code for an unknown source with a known alphabet size. Dominant sequences are then studied with respect to this criterion.In this vein, focusing on symmetric fix-free codes and its corresponding dominant sequences, it is shown that for each alphabet size up to $30$, the most likely optimal symmetric fix-free code is: a) nothing but the optimal symmetric fix-free code for the average distribution; b) optimal for more than 50 percent of the sources. Finally, iired by the structure of some dominant sequences, a special subset of fix-free codes namely, the sequentially-constructible (SC) fix-free codes are introduced. It is shown that obtaining the dominant sequences for SC fix-free codes is less computationally challenging, and is thus reachable in higher values of n (compared to that in general fix-free codes). Of course, this gain is achieved at the cost of losing the optimality. It is however shown that these SC fix-free codes can provide an acceptable performance in terms of the redundancy.
کدهای بیوند کدهایی هستند که در آنها هیچ کلمهکدی پیشوند یا پسوند کلمهکد دیگری نباشد. ویژگی مطلوبی که این کدها دارند آن است که هر دنبالهای از کلمهکدهای آنها را میتوان از هر دو طرف (ابتدا به انتها و انتها به ابتدا) کدبرداری نمود. این قابلیت کدبرداری دوطرفه باعث افزایش مقاومت کد نسبت به خطا و افزایش سرعت کدبرداری میگردد. به همین دلیل از کدهای بیوند در استانداردهای ویدیویی نظیر MPEG-4 و H.263+ استفاده میشود. دستهی خاصی از کدهای بیوند، کدهای بیوند متقارن هستند که در آنها کلمهکدها از تقارن برخوردارند. تقارن ساختاری این کدها، باعث سادهتر شدن و سریعتر شدن عملیات کدبرداری آنها میگردد. کدهای بیوندی که کلمهکدهای آنها لزوماً متقارن نباشند کدهای بیوند غیرمتقارن نامیده میشوند. به طور کلی مسائل مطرح در حوزهی کدهای بیوند بسیار پیچیدهتر و دشوارتر از مسائل مربوط به کدهای بدون پیشوند است.علت اصلی این موضوع، نبود شرطی لازم و کافی (شبیه نامساوی کرفت) برای وجود کدهای بیوند است. یکی از پیامدهای فقدان چنین شرط لازم و کافی آن است که الگوریتم سادهای (همچون الگوریتم هافمن) برای یافتن کد بیوند بهینه قابل تصور نیست. به همین دلیل کد بیوند بهینه تا حد زیادی ناشناخته باقی مانده و ارزیابی عملکرد آن دشوار است. یکی از روشهای جدید برای تعیین کد بیوند بهینه استفاده از دنبالههای غالب است. دنبالههای غالب دنباله طولکدهایی هستند که بالقوه برای منبعی بهینه هستند. هدف ما در این رساله شناسایی هر چه بیشتر کد بیوند بهینه و بررسی دنبالههای غالب متناظر با آن به منظور ارزیابی هزینه کد بیوند بهینه از منظر افزونگی و ارائه کد بیوند شبهبهینه میباشد. به طور مشخص در این رساله ابتدا اختلاف بین افزونگی کد بهینه بیوند (متقارن و غیر متقارن) و افزونگی کد هافمن را به عنوان کدهای بیوند در نظر گرفته و به ارزیابی آن از زوایای مختلف میپردازیم. نشان میدهیم که جریمه کد بهینه بیوند غیرمتقارن بهطور متوسط کمتر از 21/0 بیت است در حالی که متوسط پنالتی کد بهینه بیوند متقارن بیکران بوده و با افزایش تعداد سمبلهای منبع به سمت بینهایت میل میکند. در ادامه ضمن معرفی معیار حداکثر احتمال بهینگی در انتخاب یک کد برای منبع تصادفی نامعلوم، به بررسی دنبالههای غالب از این منظر میپردازیم. با مطالعه دنبالههای غالب برای کدهای بیوند متقارن، نشان داده میشود که برای تعداد سمبلهای کمتر از 30، محتملترین کد بهینه بیوند متقارن همان کد بهینه توزیع متوسط است و برای بیش از نیمی از منابع بهینه است. در پایان با الهام گرفتن از ساختار حاکم بر برخی دنبالههای غالب، دستهای از کدهای بیوند با قابلیت ساخت پیدرپی را معرفی نموده و به بررسی عملکرد آن میپردازیم. مشاهده میشود که بهدست آوردن دنبالههای غالب برای این دسته از کدهای بیوند در مقایسه با تعیین دنبالههای غالب در میان تمام کدهای بیوند، از پیچیدگی کمتری برخوردار است؛ با این وجود، عملکرد این دسته از کدها اختلاف زیادی با کدهای بیوند بهینه ندارد. واژههای کلیدی: کد بیوند متقارن/ غیر متقارن، افزونگی، دنباله غالب، چندوجهی محدب، توزیع متوسط