1- مقدمه

مکان‌یابی و ردیابی منابع سیگنال مسائلی هستند که در کاربردهای تجاری و نظامی مانند کنترل ترافیک هوایی، سنجش از راه دور، نظارت، امداد و نجات استفاده می‌شوند. باتوجه به اینکه دقت و دسترس‌پذیری سیستم‌های موقعیت‌یابی ماهواره‌ای ممکن است در برخی از محیط‌ها، مانند محیط‌های شهری یا داخل ساختمان، به دلیل تضعیف یا انسداد سیگنال به طرزی جالب توجه کاهش یابد، استفاده از فناوری‌ها و روش‌های مکان‌یابی دیگر نیز مورد توجه قرارگرفته است [1].

بهره‌گیری از ویژگی‌های منابع سیگنال رویکردی مؤثر برای مکان‌یابی در شرایطی است که استفاده از سیستم موقعیت‌یابی جهانی (GPS)[1] با محدودیت مواجه‌ است. از طرفی، پهپادها به دلیل چابکی، انعطاف‌پذیری در پرواز، دسترسی به نقاط سخت‌گذر و امکان تجهیز به انواع حسگرها و آنتن‌ها، گزینه‌ای ایده‌آل برای موقعیت‌یابی اهداف هستند. بهره‌گیری از پهپادی که مسیر حرکت آن بهینه‌سازی شده و قادر به تخمین بلادرنگ موقعیت منبع متحرک است، راهکاری هوشمند برای افزایش دقت مکان‌یابی و کاهش وابستگی به سامانه‌های ماهواره‌ای محسوب می‌شود. اهمیت این مسئله در کاربردهایی حساس نمایان می‌شود که اطلاعات اولیه محدود است و به واکنش سریع نیاز دارند. در این شرایط، دقت و سرعت در موقعیت‌یابی نقشی تعیین‌کننده‌ در جلوگیری از پیامدهای جبران‌ناپذیر ایفا می‌کند [2-4].

1-1- مروری بر پیشینۀ پژوهش

در سیستم‌های مکان‌یابی بی‌سیم، گره‌هایی به ‌عنوان گره‌های مرجع با موقعیت‌های کاملاً شناخته‌شده، اندازه‌گیری‌های مختلف رادیویی را از سیگنال‌های فرکانس رادیویی (RF)[2] ساطع‌شده از کاربران شبکه جمع‌آوری و از آنها برای موقعیت‌یابی کاربران استفاده می‌کنند [5]. در واقع، برای این کار از مشخصات سیگنال ورودی در گره مرجع استفاده می‌شود که به ‌عنوان روش‌های مبتنی بر زمان،  زاویه و قدرت سیگنال دریافتی (RSS)[3] شناخته می‌شوند. روش مکان‌یابی با RSS بر اساس اندازه‌گیری مقدار توان دریافتی سیگنال است. روش‌های مبتنی بر زمان، بر اساس اندازه‌گیری زمان رسیدن (ToA)[4] و تفاوت زمانی رسیدن (TDoA)[5] سیگنال در محل گره‌های مرجع عمل می‌کنند. در روش مبتنی بر زاویۀ ورود (AoA)[6]، با اندازه‌گیری زاویۀ رسیدن سیگنال در گره‌های مرجع مختلف، موقعیت منبع سیگنال تخمین زده می‌شود [1، 6].

موقعیت‌یابی را می‌توان با ترکیب روش‌های بیان‌شده نیز انجام داد؛ برای مثال، ترکیب RSS و ToA [5] یا AoA و RSS [7]. ترکیب این روش‌ها نیاز به استفاده از حسگرهای مختلف و طراحی الگوریتم‌هایی پیچیده‌تر برای محاسبۀ موقعیت دارد؛ در حالی ‌که مکان‌یابی مبتنی بر RSS به سخت‌افزار پیچیده نیاز ندارد. این روش می‌تواند با فناوری‌های مختلف رادیویی اجرا شود و به همگام‌سازی زمانی بین آنتن‌های فرستنده و گیرنده نیاز ندارد [8].

در روش‌های رایج مکان‌یابی رادیویی مبتنی بر ویژگی‌های سیگنال،‌ از ایستگاه‌های زمینی برای تعیین موقعیت استفاده می‌شود. برای مثال، در پژوهش‌های [3] و [9]، با بهره‌گیری از روش‌های مبتنی بر  RSSو در نظر گرفتن گره‌های مرجع ایستا، مکان‌یابی منابع سیگنال انجام شده است. با این‌حال، در شرایط بحرانی، مکان‌یابی با گره‌های مرجع ایستا ممکن است قابل اجرا نباشد. از این ‌رو، استفاده از فناوری‌های هوایی و پهپادها به عنوان گره‌های مرجع هوایی برای مکان‌یابی منبع سیگنال، به ‌عنوان راه‌حلی مقرون‌به‌صرفه، سریع و انعطاف‌پذیر، مورد توجه قرار گرفته است. از مزایای جالب توجه این رویکرد دست‌یابی به دقت بیشتر در مکان‌یابی و توانایی ارائۀ خدمات موقعیت‌یابی در شرایطی است که دسترسی به GPS محدود شده یا دریافت سیگنال‌های ماهواره‌ای غیرممکن است [1، 4، 10].

فرایند مکان‌یابی رادیویی با انتقال مجموعه‌ای از سیگنال‌ها انجام می‌شود. مکان‌یابی می‌تواند یک فرایند دومرحله‌ای باشد که در مرحلۀ اول اندازه‌گیری‌های مربوط به موقعیت از سیگنال استخراج می‌شود. سپس، با تجزیه‌وتحلیل سیگنال دریافتی و استفاده از روش‌های مختلف موقعیت‌یابی، این اندازه‌گیری‌های مربوط به موقعیت مانند RSS به تخمین موقعیت منجر می‌شوند [11].

روش‌های تخمین موقعیت به چندین دادۀ اندازه‌گیری‌شده نیاز دارند. در [8]، مدلی برای مکان‌یابی بر اساس RSS ارائه شده است که در آن با استفاده از چهار پهپاد چندین داده جمع‌آوری می‌شوند و الگوریتم با محاسبۀ خطوط عبوری از موقعیت منبع، نقطه‌ای را پیدا می‌کند که کمترین فاصله را با تمام خطوط دارد. در [4]، سامانه‌ای برای مکان‌یابی منبع سیگنال با هدف پشتیبانی از عملیات امداد و نجات طراحی شده است که در آن، هفت پهپاد متحرک اندازه‌گیری‌های TDoA را نسبت به یک پهپاد مرجع انجام می‌دهند. از آنجا که استفاده از تعداد پهپاد کمتر در سیستم‌های موقعیت‌یابی به ‌معنای کاهش هزینه‌های استقرار است، پژوهشگران در [10، 12] مکان‌یابی یک منبع ساطع‌کنندۀ امواج RF ثابت با استفاده از یک پهپاد و چندین مرحله‌ اندازه‌گیری را انجام داده‌اند.

ممکن است پهپادها در شرایط نامطمئن قادر به تصمیم‌گیری خودکار نباشند؛ از این رو، یادگیری تقویتی (RL)[7] می‌تواند با افزودن سطحی از هوشمندی، توانایی تصمیم‌گیری خودکار پهپادها را بر اساس شرایط محیطی بهبود بخشد. همچنین، RL می‌تواند دقت مکان‌یابی و ناوبری پهپادها را افزایش دهد [13، 14]. در [13]، یک پهپاد پس از پایش اولیۀ محیط، مکان تقریبی منبع سیگنال را با استفاده از دست‌کم سه اندازه‌گیری RSS تخمین می‌زند و سپس، با بهره‌گیری از RL، به ‌صورت برخط مسیر خود را با انتخاب نقاط بین‌راهی در طول مسیر بهینه‌سازی می‌کند؛ به‌گونه‌ای که میانگین خطاهای مکان‌ به حداقل برسد. نتایج این مقاله نشان می‌دهد به‌کارگیری RL موجب بهبود چشم‌گیر دقت موقعیت‌یابی می‌شود. روش ارائه‌شده در [13] فقط برای اهداف ثابت طراحی شده است و نیازمند یک مرحله پایش اولیه از کل محیط است.

مکان‌یابی ایستگاه‌های غیرمجاز رادیویی یکی ‌دیگر از کاربری‌های موقعیت‌یابی رادیویی با استفاده از پهپادها و الگوریتم‌های RL است. در [15]، یک پهپاد مجهز به آنتن جهتی، پس از اندازه‌گیری مکرر RSS، جهت حرکت خود را در بازه‌های زمانی تعیین می‌کند و در نهایت، مکان‌ ایستگاه‌های رادیویی غیرمجاز (IRS)[8] را با استفاده از الگوریتم یادگیری Q آگاه از جهت تخمین می‌زند. مرجع [16] نیز روشی مبتنی بر یادگیری Q برای مکان‌یابی خودکار منابع تداخل رادیویی توسط پهپاد در کانال رایلی ارائه می‌دهد. با این حال، در این مطالعات، بهینه‌سازی مسیر با استفاده از یک منبع رادیویی ایستا بررسی شده است که مختصات آن مشخص است و پهپاد با اندازه‌گیری RSS به سمت منبع هدایت می‌شود.

در [17-19]، مسئلۀ مکان‌یابی با اندازه‌گیری RSS و استفاده از الگوریتم یادگیری Q حل شده است. هدف این پژوهش‌ها ناوبری یک پهپاد به سمت منبع سیگنال ثابت با کاربری امداد و نجات در شرایط بحرانی محیط‌های داخلی است. در [17]، هدایت پهپاد به سمت منبع سیگنال با الگوریتم یادگیری Q و در نظر گرفتن کانال محوشدگی رایلی انجام شده است. در [18]، دو الگوریتم یادگیری Q مبتنی بر RSS و الگوریتم یادگیری Q مبتنی بر مکان بررسی شده‌اند. طبق نتایج، یادگیری Q مبتنی بر RSS عملکردی مشابه و قابل رقابت با یادگیری Q مبتنی بر مکان ارائه‌ می‌دهد و در مقایسه با این روش، نوسانات کمتری در طول فرآیند آموزش دارد. مکان‌یابی با الگوریتم‌های RL را با سیگنال‌های اندازه‌گیری‌شده از آنتن‌های جهت‌دار و همه‌جهتی می‌توان اجرا کرد [19].

پهپادها و الگوریتم RL می‌توانند برای پایش زیرساخت‌ها و نظارت هوشمند محیطی مفید باشند. برای مثال، [14] مکان‌یابی منبع تشعشع با یک پهپاد و شبکۀ عصبی عمیق Q را انجام داده است. مدل قرائت‌های حسگر با استفاده از اصول فیزیک تشعشع برای ایجاد یک مدل تابشی تولید شده است. علاوه بر نظارت زیرساخت‌ها، می‌توان در شرایط بحرانی به کمک پهپادها زیرساخت‌های ارتباطی موقت ایجاد کرد. در [20]، موقعیت‌یابی کاربر زمینی و بهینه‌سازی مکان استقرار و توان ارسال پهپادها به عنوان ایستگاه هوایی به کمک یادگیری Q انجام شده است.

هر منبع سیگنال متحرک علاوه بر مکان‌یابی نیاز به ردیابی نیز دارد. با این حال، پژوهش‌های بیان‌شده مکان‌یابی منابع سیگنال ثابت را انجام داده‌اند و تحرک منبع سیگنال را نادیده گرفته‌اند. فیلتر کالمن یک الگوریتم تخمین پرکاربرد برای ردیابی اهداف است [21].

در [22]، پهپادهای بال چرخان، مجهز به حسگرهای RSS، در یک گروه سازمان‌دهی شده‌اند و فقط با اندازه‌گیری RSS، حرکت یک منبع سیگنال متحرک را دنبال می‌کنند. در [23]، الگوریتم جست‌وجو و مکان‌یابی برای یک منبع سیگنال متحرک زمینی با استفاده از وسیلۀ هوایی خودکار (AAV)[9] طراحی و شبیه‌سازی شده است. AAV در حالت جست‌وجوی جهانی به دنبال سیگنال هدف می‌گردد و در حالت مکان‌یابی با حرکت دایره‌ای اطراف هدف، موقعیت آن را با فیلترهای غیرخطی کالمن مانند فیلتر کالمن توسعه‌یافته (EKF)[10] و فیلتر کالمن خنثی (UKF)[11] تخمین می‌زند. برای مدل این مرجع، UKF عملکرد بهتری نسبت به EKF ارائه می‌کند. در [24]، EKF چندمدلی تعاملی برای تخمین دقیق و پیوستۀ موقعیت و حرکت هدف در سامانۀ راداری به‌ کار رفته است.

الگوریتم یادگیری Q چندعاملی [25] به سه پهپاد فرصت اکتشاف در محیط را برای یافتن بهترین پیکربندی فضایی می‌دهد. هدف از این پیکربندی مکان‌یابی یک وسیلۀ نقلیه و ایجاد رلۀ ارتباطی با ایستگاه‌های پایۀ زمینی است. همچنین، [26] به کمک الگوریتم RL چندعاملی، پهپادها را برای ردیابی یک منبع سیگنال متحرک هماهنگ کرده است. در [27]، یک رویکرد یادگیری تقویتی عمیق (DRL)[12] برای کنترل پهپادها با هدف نهایی ردیابی امدادگران در محیط‌های چالش‌برانگیز سه‌بُعدی در حضور موانع و انسداد پیشنهاد شده است. نتایج شبیه‌سازی این مقاله نشان می‌دهد کنترل مبتنی بر DRL چندین پهپاد را قادر می‌سازد تا با بهبود عملکرد تخمین‌گر حالت هدف، منبع سیگنال را با دقت زیاد موقعیت‌یابی و ردیابی کنند.

هدف ما در این مقاله مکان‌یابی و ردیابی منبع سیگنال متحرک با استفاده از یک پهپاد به ‌عنوان گره مرجع مجازی است. در این سیستم، پهپاد مجهز به حسگرهای RSS همه‌جهتی است و می‌تواند فقط با همین اطلاعات از منبع سیگنال، موقعیت آن را مشخص و ردیابی کند. برای این کار، پهپاد در مکان‌های مختلف اندازه‌گیری‌های رادیویی را از هدف RF جمع‌آوری می‌کند. الگوریتم به شکلی طراحی می‌شود که پهپاد با کمک یادگیری Q بتواند به ‌صورت خودکار به سمت منبع سیگنال حرکت کند. در تشخیص موقعیت، الگوریتم موقعیت‌‌یابی حداقل مربعات (LS)[13] و الگوریتم یادگیری Q ترکیب شده‌اند. همچنین، برای بهبود نتایج تخمین موقعیت و ردیابی منبع سیگنال از فیلتر کالمن در کنار الگوریتم یادگیری Q استفاده شده است. در جدول (1)، مقایسۀ روش پیشنهادی با پژوهش‌های مرتبط ارائه شده است.

1-2- نوآوری پژوهش

در مقایسه با پژوهش‌های پیشین، نوآوری اصلی این مطالعه تلفیق سه الگوریتم LS، فیلتر کالمن و یادگیری Q در یک چارچوب هماهنگ و منسجم است. این رویکرد امکان به‌روزرسانی مرحله‌ای و پیوستۀ موقعیت منبع را فراهم می‌کند و هم‌زمان، مسیر پروازی پهپاد را به ‌صورت بلادرنگ و بدون نیاز به شناخت کامل محیط بهینه می‌کند؛ امری که منجر به افزایش دقت و کارایی سامانه در شرایط واقعی می‌شود.

جدول (1): مقایسۀ روش پیشنهادی با پژوهش‌های مرتبط

نوآوری دیگر این پژوهش آموزش مستقل الگوریتم یادگیری Q برای تمامی ترکیب‌های ممکن از موقعیت‌های اولیۀ پهپاد و منبع سیگنال است؛ به ‌گونه‌ای که با وجود فضای حالت ۲۵حالته برای هر یک، تمامی حالات ممکن برای شروع و پایان عملیات بررسی شده‌اند. این روش امکان پوشش جامع شرایط مختلف شروع عملیات و ارتقای دقت مکان‌یابی را فراهم می‌کند. در الگوریتم پیشنهادی، خروجی مرحلۀ پیش‌بینی فیلتر کالمن مکان بعدی منبع سیگنال را تخمین می‌زند. سپس، نزدیک‌ترین نقطۀ بین‌راهی به این مکان به ‌عنوان مقصد لحظه‌ای پهپاد انتخاب می‌شود. در ادامه، جدول Q متناظر با این ترکیب از موقعیت اولیۀ پهپاد و مقصد نهایی (که پیش‌تر آموزش داده و ذخیره شده است)، فراخوانی و استفاده می‌شود.

سایر بخش‌های مقاله به صورت زیر سامان‌دهی شده‌اند:

در بخش 2، مدل سیستم،کانال و توان پهپاد ارائه شده است. در بخش 3، الگوریتم یادگیری Q معرفی می‌شود. بخش 4 روش حل مسئله را ارائه داده است. نتایج شبیه‌سازی و مقادیر عددی در بخش 5 ارائه شده است. در نهایت، نتیجه‌گیری در بخش 6 بیان می‌شود.

2- مدل سیستم

یک پهپاد به‌ عنوان ایستگاه هوایی متحرک برای موقعیت‌یابی و ردیابی منبع سیگنال مستقر روی زمین در نظر گرفته‌ شده است. این پهپاد بر فراز یک منطقۀ نیمه‌شهری در ارتفاع ‌ثابت h پرواز می‌کند. پهپاد در مسیر حرکت خود، در موقعیت‌هایی مشخص که به آنها نقاط بین‌راهی ( ) گفته می‌شود، RSS منبع سیگنال RF را در محدودۀ ارتباطی خود اندازه‌گیری و جمع‌آوری می‌کند. در هر نقطۀ بین‌راهی، پس از 20 اندازه‌گیری، مقدار میانگین RSS محاسبه می‌شود. پهپاد با توجه به مدل کانال استفاده‌شده در این پژوهش، فاصلۀ خود با جسم را با استفاده از معادلۀ افت مسیر به دست می‌آورد.

2-1- مدل کانال

با توجه به اینکه پهپاد به ‌عنوان گره هوایی برای مکان‌یابی منبع سیگنال در نظر گرفته شده است، به مدل کانال ارتباطی پهپاد و منبع سیگنال هدف نیاز است. کانال‌های ارتباطی بین پهپاد و اهداف عمدتاً شامل پیوندهای دید مستقیم (LoS)[xiv] و دید غیرمستقیم (NLoS)[xv] هستند که هر دو پیوند LoS و NLoS در مدل کانال در نظر گرفته شده‌اند. در این مدل، کانال هوا به زمین که در (1) فرمول‌بندی شده است، به سایه و افت مسیر با زاویۀ ارتفاع  نیز وابسته است. گفتنی است، این مدل افت مسیر  بر اساس دسی‌بل بیان شده است [28، 29].

در این مدل،  و  به‌ترتیب فرکانس سیستم و سرعت نور هستند و  یک متغیر تصادفی با توزیع‌ گوسی با میانگین  و واریانس  است. فرض می‌شود  صفر باشد و  طبق (2) تعریف می‌شود.

رابطۀ میان  و  برابر (3) است و  که احتمال داشتن پیوند LOS است با رابطۀ (4) بیان می‌شود.

 و  به‌ترتیب با اثر سایۀ پیوندهای LoS و NLoS بین پهپاد و منبع سیگنال مطابقت دارند و به ‌صورت (5) و (6) بیان می‌شوند.

در روابط بیان‌شده برای مدل کانال، ، ، ، ،  و  پارامترهای وابسته به محیط هستند [30].

2-2- مدل مصرف توان پهپاد

مدل مصرف توان یا به عبارتی مصرف انرژی پهپاد بال چرخان مبتنی بر مدل‌های ارائه‌شده در [10] و [31] استفاده می‌شود. در این مدل، مصرف انرژی مورد نیاز برای تبادل اطلاعات در نظر گرفته نمی‌شود؛ زیرا در عمل، می‌توان از مصرف انرژی مورد نیاز برای ارتباطات و تبادل داده در مقابل مصرف انرژی پیشرانۀ پهپاد صرف‌نظر کرد [32]. نحوۀ محاسبۀ توان مصرفی کل پهپاد در (7) بیان شده است که مجموع توان‌های سه منبع مصرف توان اصلی در پهپاد بال چرخان است. این سه منبع عبارت‌اند از: توان نمایۀ پرۀ پهپاد ( )، توان پارازیت ( ) و توان القایی ( ).

2-2-1- توان نمایۀ پرۀ پهپاد

این توان برای چرخاندن پره‌ها مورد نیاز است و به‌ وسیلۀ (8) تعریف می‌شود که در آن  سرعت پهپاد،  سرعت چرخش پره است و  نیز نشان‌دهندۀ ثابتی است که به ابعاد پره بستگی دارد.

2-2-2- توان پارازیت

این توان برای مفهوم غلبه بر نیروی پسا[xvi] ایجادشده هنگام حرکت پهپاد در هوا استفاده می‌شود. نحوۀ محاسبۀ توان پارازیت[xvii] در (9) تعریف شده است. این توان با مکعب سرعت پهپاد ( ) متناسب است و هنگام شناوربودن آن صفر و در سرعت‌های بالا بسیار بزرگ می‌شود. در این رابطه،  چگالی هوا و  ثابتی است که به ضریب کشش پهپاد و ناحیۀ مرجع بستگی دارد.

2-2-3- توان القایی

این توان برای بلندکردن پهپاد و غلبه بر نیروی کششی ناشی از گرانش مورد نیاز است. هر زمان که یک پهپاد در حال حرکت است، جریان هوایی که به سمت آن می‌آید، مسیر پهپاد را تغییر می‌دهد و به بلندکردن آن کمک می‌کند. بنابراین، توان القایی لازم نسبتی معکوس با سرعت هوا دارد. هنگام شناورماندن پهپاد، تمام جریان هوای مورد نیاز برای بلندکردن پهپاد باید توسط پره‌های چرخان ایجاد شود که این امر منجر به مصرف انرژی بیشتر می‌شود. توان القایی را می‌توان به‌ صورت (10) نوشت که در آن و  به‌ترتیب جرم پهپاد و گرانش استاندارد را نشان می‌دهند و  نشان‌دهندۀ میانگین سرعت القایی پروانه‌ها در پرواز رو به ‌جلو است و با (11) بیان می‌شود که در آن متغیر  بیان‌کنندۀ سطح پهپاد است.

در صورت شناورماندن (یعنی زمانی که )، کل توان مصرفی به توان شناور محدود می‌شود و بر اساس (12) محاسبه می‌شود.

3- یادگیری تقویتی (یادگیری Q)

در ادامه، به طور خلاصه، RL را به‌ عنوان یک تکنیک یادگیری ماشینی بررسی می‌کنیم که برای کنترل ماشین‌های مستقلی مانند پهپاد مناسب است.

RL معمولاً توسط فرایندهای تصمیم‌گیری مارکف (MDP)[xviii] رسمیت می‌یابد. MDP یک چارچوب ریاضی برای مسائل تصمیم‌گیری متوالی در شرایطی است که نتایج تا حدی تصادفی و تا حدودی تحت کنترل عامل شناخته می‌شود. به ‌طور خاص‌تر، عامل و محیط در هر یک از مراحل زمانی t تعامل دارند. در هر مرحلۀ زمانی t، عامل تعدادی نمایش از حالت محیط  را دریافت می‌کند و بر این اساس، اقدام  را از مجموعۀ تمام اقدامات مجاز  انتخاب می‌کند. در گام زمانی بعدی، عامل به دلیل اقدام انجام‌شده پاداش عددی  را دریافت می‌کند و به حالت جدید می‌رود. MDP و عامل با هم باعث ایجاد دنباله یا مسیری می‌شوند که به ‌صورت (13) است.

در یک MDP محدود، مجموعۀ حالت‌‌ها، اقدامات و پاداش‌ها ( ،  و ) همگی دارای تعداد عناصر محدود هستند [33]. بر اساس پاداش دریافتی و پس از اجرای مکرر، عامل شروع به بهبود دانش خود از محیط می‌کند و باید بتواند سیاست را به‌نوعی تدوین کند که تعیین کند کدام اقدامات را برای حالت‌های ممکن محیط در نظر بگیرد. چارچوب اصلی RL در شکل (1) نشان داده شده است [33، 34].

شکل (1): تعامل عامل و محیط در RL [33]

الگوریتم یادگیری Q یک الگوریتم یادگیری تقویتی خارج از سیاست است که قانون به‌روزرسانی تابع ارزش آن برای جفت حالت-عمل به ‌طور کلی طبق (14) تعریف می‌شود [35].

در این رابطه، نرخ یادگیری ( ) عددی بین صفر و یک است و تعیین می‌کند تا چه اندازه اطلاعات حالت جدید بر اطلاعات اولیه غلبه می‌کند. همچنین، ضریب تخفیف ( ) عددی بین صفر و یک است و اهمیت پاداش‌های آینده را تعیین می‌کند.

در این الگوریتم، تابع ارزش-عمل آموخته‌شدۀ  به‌ طور مستقیم تابع ارزش عمل بهینۀ  را مستقل از سیاستی که دنبال می‌شود، تقریب می‌زند. این موضوع به‌ طرزی چشمگیر تجزیه‌وتحلیل الگوریتم را ساده می‌کند و اثبات همگرایی اولیه را فعال می‌کند. این سیاست همچنان دارای اثری است که تعیین می‌کند کدام جفت‌های حالت-عمل بازدید و به‌روزرسانی می‌شوند. در این الگوریتم، با  از دانش موجود در محیط بهره‌برداری می‌شود. با این‌ حال، تنها چیزی که برای همگرایی صحیح مورد نیاز است این است که همۀ این جفت‌ها به‌روز شوند. با این فرض و برقراری شرایط تقریب تصادفی معمول در توالی پارامترهای اندازۀ گام، Q با احتمال یک به  همگرا می‌شود [33، 36].

4- روش حل مسئله

مکان منبع سیگنال با میانگین RSS جمع‌آوری‌شده در نقاط مختلف با استفاده از روش LS تخمین زده می‌شود. با توجه به شرایط محیطی، پیوند بین پهپاد و منبع سیگنال ممکن است از نوع LoS یا NLoS باشد. در ‏شکل (2)، فاصلۀ مستقیم بین پهپاد در نقطۀ بین‌راهی  و منبع سیگنال در نقطۀ  با  و فاصلۀ زمینی با  نشان داده شده است. علاوه بر این، زاویۀ منبع سیگنال با پهپاد با  نشان داده شده است. پوشش‌دهی یکی از پارامترهای عملکردی است که نشان می‌دهد چه میزان از ناحیه در شعاع حسگری قرار گرفته است [37]. محدودۀ پوشش رادیویی هوایی پهپاد برابر 700 متر در نظر گرفته شده است؛ یعنی پهپاد توانایی اندازه‌گیری RSS، از منبعی که در یک کره به شعاع حداکثر 700متری در اطراف خود است، را دارد.

شکل (2): پارامترهای مدل کانال در جمع‌آوری اندازه‌گیری‌های RSS با استفاده از یک پهپاد برای مکان‌یابی منبع سیگنال

برای شروع عملیات ردیابی، طراحی یک مسیر اولیه برای حرکت پهپاد لازم است؛ زیرا در ابتدا به تشخیص وجود منبع سیگنال و یک موقعیت اولیه از منبع سیگنال نیاز است. از این ‌رو، ابتدا مسیری برای تشخیص کمترین تعداد RSS مناسب برای تخمین مکان منبع سیگنال با LS در نظر گرفته می‌شود. پس از اینکه پهپاد به تعداد کافی RSS در مکان‌های مختلف خود از هدف اندازه گرفت، به پهپاد اجازه داده می‌شود تا با استفاده از روش یادگیری Q، مسیر بهینه تا منبع سیگنال را با عبور از سلول‌های گسستۀ تعریف‌شده در محیط پیدا کند.

در الگوریتم یادگیری Q که یکی از روش‌‌های RL است، ناحیۀ جست‌وجو به سلول‌هایی با ابعاد یکنواخت تقسیم می‌شود و در هر سلول، جهت حرکت پهپاد بر اساس سیاست به‌دست‌آمده از الگوریتم یادگیری Q تعیین می‌شود. برخلاف روش‌های انجام‌شده در پیشینۀ پژوهش به کمک یادگیری Q که مکان آغاز حرکت پهپاد و مکان منبع سیگنال ثابت و یک سلول مشخص بود، در روش پیشنهادی امکان وجود منبع سیگنال در کل محیط جست‌وجو و آغاز حرکت پهپاد در هر کدام از سلول‌ها در نظر گرفته ‌شده است. در این راستا، یادگیری با در نظر گرفتن تمام‌حالت‌های ممکن برای مکان پهپاد در آغاز پرواز و موقعیت منبع سیگنال تکرار شده است. خروجی الگوریتم یادگیری Q به‌ عنوان داده‌های اولیه از یادگیری انجام‌شده در مرحلۀ انجام عملیات موقعیت‌یابی و ردیابی منبع سیگنال استفاده می‌شود.

مطابق شکل (3)، برای در نظر گرفتن تحرک منبع سیگنال، خروجی LS که همان موقعیت هدف اندازه‌گیری‌شده است، به فیلتر کالمن داده می‌شود و خروجی مرحلۀ به‌روزرسانی اندازه‌گیری در فیلتر کالمن به ‌عنوان تخمین نهایی از موقعیت منبع سیگنال تعیین می‌شود. همچنین، خروجی مرحلۀ پیش‌بینی فیلتر کالمن برای ردیابی منبع سیگنال متحرک در الگوریتم یادگیری Q به عنوان سلول هدف استفاده می‌شود. در فیلتر کالمن پیشنهادی، موقعیت، سرعت و شتاب حرکت منبع سیگنال در دو بُعد به‌ عنوان حالت‌های فیلتر کالمن تعریف ‌شده‌اند.

شکل (3): نمودار بلوکی روش پیشنهادی برای موقعیت‌یابی و ردیابی منبع سیگنال متحرک

4-1- روش مکان‌یابی LS

وقتی تعداد گره‌های با موقعیت معلوم ( ) بیش از سه باشد، می‌توان LS را برای محاسبۀ مختصات گره ناشناخته  در شکل (4) استفاده کرد.

شکل (4): مثالی از گره‌های معلوم با فواصل مختلف از گره با موقعیت مجهول D [38]

فرض کنید مختصات گره‌های معلوم به‌ترتیب ، ، ... و  و فاصلۀ بین  و گره‌های معلوم به‌ترتیب ، ، ... و  است. سپس، می‌توان معادلات را به‌ صورت (15) نوشت.

با کم‌کردن آخرین معادله از  معادلۀ اول می‌توان معادلات را حل کرد. در نهایت، می‌توان معادلات را به ‌صورت  بازنویسی کرد که در آن ،  و b به‌ صورت زیر تعریف می‌شود.

سپس، می‌توان  را به دست آورد. در واقع، روش LS بسط روش سه‌پهلوبندی است [38]. این روش در مقایسه با الگوریتم مثلث‌سازی، می‌تواند مکان گره‌های مجهول را با دقت بیشتری تخمین بزند [39].

4-2- ردیابی هدف با فیلتر کالمن

با توجه به اینکه منبع سیگنال مورد ردیابی هدفی متحرک است، به فرایندی برای تخمین موقعیت هدف در گام‌های بعدی نیاز است. فیلتر کالمن یک الگوریتم پرکاربرد است که برای تخمین حالت‌های پنهان سیستم، حتی زمانی که اندازه‌گیری‌ها نادقیق و نامطمئن هستند، طراحی شده است. همچنین، فیلتر کالمن وضعیت آیندۀ سیستم را بر اساس تخمین‌های گذشته پیش‌بینی می‌کند [21]. موقعیت‌های مرحلۀ پیش‎بینی فیلتر کالمن به عنوان پارامترهای ورودی یادگیری تقویتی برای حرکت پهپاد به سمت هدف استفاده می‌شوند.

فیلتر کالمن با فرض اینکه بتوان مسئله را در قالب (17)  مدل کرد، نوشته می‌شود؛ به ‌طوری ‌که  بردار حالت در زمان ،  ماتریس به ‌عنوان ارتباط‌دهندۀ   به  یا به عبارتی حالت فعلی به حالت بعد و  بردار نویز سفید با ساختار کوواریانس مشخص  باشد.

مشاهده (اندازه‌گیری) فرایند در زمان‌های گسسته مطابق رابطۀ خطی (18) فرض می‌شود.

 بردار اندازه‌گیری در زمان  است.  ماتریس ارتباط ایده‌آل (بدون نویز) بین اندازه‌گیری و بردار حالت را در زمان  ایجاد می‌کند.  بردار خطای اندازه‌گیری است که فرض می‌شود دنباله‌ای سفید با ساختار کوواریانس مشخص  و همبستگی متقابل صفر با دنبالۀ  باشد. گفتنی است که فرض می‌شود ،  و کوواریانس‌های توصیف‌کنندۀ  و  را می‌دانیم. ماتریس‌های کوواریانس برای بردارهای   و  در (19) بیان ‌شده‌اند.

تخمین در لحظۀ  با استفاده از دانش‌های قبلی انجام می‌شود. با این فرض، تخمین پیشین با  نشان داده می‌شود که در آن علامت « » نشان‌دهندۀ تخمین و «-» آن نشان‌دهندۀ بهترین تخمین و پیش‌بینی قبل از اندازه‌گیری در  است. فرض بر این است که ماتریس کوواریانس خطای مرتبط با  مشخص و برابر (20) است.

با فرض تخمین پیشین ، با اندازه‌گیری ، تخمین پیشین بهبود داده می‌شود. در این راستا، یک ترکیب خطی از اندازه‌گیری نویز و تخمین پیشین مطابق (21) انتخاب می‌شود.

 تخمین به‌روزرسانی‌شده و  بهرۀ فیلتر کالمن نامیده می‌شود.  به ‌صورت زیر محاسبه می‌شود.

به‌ طوری‌ که کوواریانس خطای  بعد از مشاهده برابر  است.

در نهایت، تخمین حالت بهینه و ماتریس کوواریانس خطا برای گام زمانی بعد به‌ترتیب با (23) و (24) برابر است.

معادلۀ حالت فیلتر کالمن بر اساس موقعیت، سرعت و شتاب منبع سیگنال در دو بُعد X و Y تدوین شده است. در واقع، معادلات فیلتر کالمن با توجه به معادلات دینامیکی حرکت هدف متحرک بر اساس وابستگی به موقعیت حالت قبل، سرعت و شتاب جسم در حال حرکت نوشته شده‌اند. در (25)، معادلات دینامیکی حالات فیلتر کالمن برای محور X بیان شده‌اند. معادلات حالت برای محور Y نیز به همین ترتیب هستند. در این مدل، فرض می‌شود خطاهای تخمین و نویز در محورهای X و Y همبستگی ندارند [21، 40-42].

4-3- الگوریتم یادگیری Q پیشنهادی

محیط جست‌وجوی موقعیت و ردیابی منبع سیگنال، یک محیط با مساحت 1000´1000 مترمربع در نظر گرفته شده است. برای حل الگوریتم یادگیری Q، شبکه‌ای گسسته‌ به ابعاد 5´5 در نظر گرفته می‌شود که مقادیر مختصات منبع سیگنال در محیط به مرکز یکی از این سلول‌های گسسته (نقطۀ بین راهی) نگاشت می‌شود. بنابراین، اگر محیط یادگیری Q به سلول‌هایی گسسته‌ با طول و عرض مشخص تقسیم شود، هر حالت از قرارگیری پهپاد در محیط در حین پرواز با مختصاتی تعریف می‌شود که نشان‌دهندۀ یک سلول دوبُعدی گسسته در این شبکه است. با این فرض که موقعیت سلول پهپاد در آغاز پرواز و سلول منبع سیگنال مشخص باشد، تعداد حالت‌های محیط یا به عبارتی تعداد سطرهای هر تابع ارزش Q برابر مقدار 25 است.

الگوریتم یادگیری Q با کوچک‌سازی ابعاد مسئله، مسائل را حل می‌کند. برای مثال، [43] روشـی مبتنـی بـر یـادگیری  Qبرای کاهش نویز صوتی به صورت فعال پیشنهاد داده است. در این مقاله، مسئله‌ای کـه دارای ابعاد بزرگ بوده است، ابتدا به دو یـا چنـد مسـئلۀ کوچـک‌تـر و مشابه تقسیم شده و در نهایت با تجمیع جواب‌هـای بـه‌دسـت‌آمـده، مسئله حل شده است. بنا بر این ایده، در این پژوهش نیز با تقسیم مسئله به چند جزء با جزئیاتی که در ادامه شرح داده می‌شود، مسئله حل شده است.

از آنجا که در مسئلۀ پیشنهادی، منبع سیگنال و پهپاد در آغاز حرکت می‌توانند در هر کدام از سلول‌های محیط باشند، الگوریتم پیشنهادی به ‌گونه‌ای طراحی شده است که الگوریتم یادگیری Q برای تمام تعداد سلول‌هایی که پهپاد در آغاز پرواز قرار دارد و سلول‌هایی که منبع سیگنال می‌تواند در آن‌ها قرار بگیرد، تکرار ‌شود. تعداد سلول‌های ممکن برای موقعیت شروع پرواز پهپاد 25 و تعداد سلول‌های ممکن برای مکان منبع سیگنال 25 است. در نهایت، خروجی الگوریتم یادگیری Q پیشنهادی که مجموعه‌ای از تابع‌های ارزش اولیه برای مرحلۀ تست و انجام عملیات است، به عنوان داده‌های خروجی ذخیره می‌شود.

4-3-1- مجموعۀ اقدامات مسئله

عامل یا همان پهپاد در مسئله می‌تواند در هشت حرکت نشان‌داده‌شده در شکل (5) به حالت‌های بعدی حرکت کند یا در صورتی که به نزدیکی منبع سیگنال رسیده است و سلول منبع سیگنال با سلول پهپاد برابر است، در همان حالت شناور بماند. عامل پس از انتخاب و انجام هر اقدام، RSS را برای موقعیت‌یابی اندازه‌گیری می‌کند.

شکل (5): مجموعۀ اقدام‌های مجاز برای عامل (پهپاد) در هر حالت از الگوریتم یادگیری Q

در مراحل مختلف الگوریتم‌های مبتنی بر RL، گاهی عامل تنها بر اساس دانش خود از محیط به‌ صورت حریصانه عمل می‌کند تا پاداش کل مورد انتظار را بیشینه کند؛ این رویکرد که بهره برداری^[xix] نام دارد، ممکن است به ‌ویژه در مراحل اولیۀ یادگیری به انتخاب‌های غیربهینه منجر شود؛ زیرا عامل با دانش محدود خود عمل می‌کند. در نتیجه، برای دست‌یابی به رفتار بهینه، عامل باید اکتشاف^[xx] انجام دهد. هنگامی که یک عامل اکتشاف می‌کند، لزوماً به بهترین شکل ممکن عمل نمی‌کند، بلکه گزینه‌های مختلف موجود را بررسی می‌کند که توسط یک راهبرد اکتشافی تعیین می‌شوند.

روش‌های انتخاب اقدام مختلفی در RL وجود دارند. با توجه به [33]، سیاست حریصانۀ اپسیلون^[xxi] رایج‌ترین رویکرد برای ایجاد تعادل بین بهره‌برداری و اکتشاف در RL است. سیاست حریصانۀ اپسیلون میزان اکتشاف را کنترل می‌کند و تصادفی‌بودن انتخاب اقدام در اکتشاف را تعیین می‌کند. عامل با احتمال  بین 0 و 1 یک عمل تصادفی را انتخاب می‌کند و با احتمال  به‌ صورت حریصانه یکی از اقدامات بهینۀ آموخته‌شده در مورد تابع Q را انتخاب می‌کند و از الگوریتم بهره‌برداری می‌کند. اگر این راهبرد  نامیده ‌شود، می‌توان آن را به‌ صورت زیر بیان کرد.

در [16] که مسئلۀ ‌مکان‌یابی توسط پهپاد حل شده است، این روش با روش Softmax مقایسه شده است. روش Softmax به انتخاب هر اقدام یک احتمال می‌دهد. طبق نتایج این مرجع، سیاست حریصانۀ اپسیلون سریع‌تر همگرا می‌شود. همچنین، در [44]، از سیاست حریصانۀ اپسیلون برای طراحی الگوریتم یادگیری Q استفاده شده است تا انتخاب اقدام برای مدیریت انرژی و گذردهی در یک شبکۀ بی‌سیم ناحیۀ بدنی[xxii] به طور مؤثر صورت پذیرد.

برای تنظیم پویای اکتشاف و بهره‌برداری از روش پیشنهادی [45]، برای انتخاب  در هر رویداد^[xxiii] از یادگیری استفاده شده است. بنابراین، تعداد نمونه‌های اکتشافی در مراحل اولیۀ یادگیری بیشتر است و با پیشرفت فرایند به‌تدریج کاهش می‌یابد. در واقع، طبق (27)،  در هر رویداد با در نظرگرفتن نرخ کاهش^[xxiv] و شمارۀ تکرار رویداد ( ) به‌روزرسانی می‌شود؛ بنابراین، برای بهبود سرعت همگرایی با افزایش تعداد رویدادها، بهره‌برداری عامل از محیط هنگام انتخاب بعدی بیشتر می‌شود. در الگوریتم پیشنهادی این پژوهش، با آزمایش‌ در مرحلۀ یادگیری، مقدار نرخ کاهش  انتخاب شده است.

تابع پاداش بازخورد ارزشی است که عامل هنگام اکتشاف در محیط دریافت می‌کند. اگر عامل عمل بهینه را انجام دهد، پاداش بزرگ‌تری به دست می‌آید. اگر عامل عملی ضعیف انجام دهد، پاداش کمتری دریافت می‌شود. اقدامات با پاداش زیاد شانس انتخاب‌شدن بیشتری دارند، در حالی که اقدامات با پاداش کم شانس انتخاب‌شدن کمتری خواهند داشت. راهبرد شبکۀ این پژوهش انتخاب مسیری است که فاصله‌ای کمتر تا منبع سیگنال دارد. الگوریتم انتخاب مقدار پاداش در زمان t در واقع تابع تکه‌ای غیرخطی است که در الگوریتم (1) تعریف می‌شود. در این الگوریتم،  فاصلۀ هر سلول با سلول بعدی است که با آن فقط در محور x یا y تفاوت دارد. همچنین، موقعیت سلول منبع سیگنال و پهپاد دیگر ورودی‌های این الگوریتم هستند.

الگوریتم (1): انتخاب پاداش با توجه به فاصلۀ پهپاد تا منبع سیگنال

در الگوریتم پیشنهادی، یادگیری Q منطبق بر سیاست حریصانۀ اپسیلون پویا به‌ازای تمام حالت‌هایی که ممکن است پهپاد در موقع شروع پرواز آنجا باشد و تمام تعداد حالت‌هایی که منبع سیگنال ممکن است در آنها قرار بگیرد، تکرار می‌شود و سیاست بهینه در ماتریس‌های  ذخیره می‌شود. این ماتریس‌ها در مرحلۀ آزمایش به عنوان ماتریس  اولیه استفاده می‌شوند. شرط توقف الگوریتم یادگیری Q در هر رویداد رسیدن پهپاد به مکان سلول منبع سیگنال است.

5- نتایج شبیه‌سازی

در این پژوهش، پارامترهای مدل کانال بر اساس مدل نیمه‌شهری در نظر گرفته شده‌اند. مقادیر این پارامترها برای فرکانس کاری 2000 مگاهرتز در جدول (2) بیان شده‌اند. مقادیر پارامترهای انتخابی برای مصرف توان پهپاد نیز در جدول (3) ارائه شده‌اند.

جدول (2): مقادیر پارامترهای وابسته به محیط نیمه‌شهری در مدل کانال [46]

جدول (3): مقادیر پارامترهای استفاده‌شده برای مدل مصرف توان  [10، 13]

پارامترهای الگوریتم بهینه‌سازی یادگیری Q پیشنهادی با مقادیر بیان‌شده در جدول (4) تنظیم می‌شوند. برای مثال، در لحظۀ آغاز، ضریب یادگیری  برابر یک است و تعداد رویدادهای آموزشی روی 5000 تنظیم شده است.

جدول (4): مقادیر پارامترهای مسئلۀ یادگیری Q

به ‌منظور تشخیص وجود منبع سیگنال در منطقۀ جست‌وجو، یک پهپاد باید مسیری از پیش تعیین‌شده به‌ عنوان مسیر اولیه در منطقه طی کند تا کمترین تعداد RSS مورد نیاز در محیط را برای مکان‌یابی اندازه‌گیری کند. این مقادیر به‌ عنوان ورودی الگوریتم LS برای یافتن اولین تخمین از موقعیت منبع سیگنال استفاده می‌شوند. طبق معادلات بیان‌شده برای LS، اگر این مسیر به ‌صورت خطی روی محورهای طولی یا عرضی محیط طراحی شود باعث ابهام و افزایش خطا در یکی از مختصات تخمین‌زده‌شدۀ x و y منبع سیگنال خواهد شد.

از این رو، برای جمع‌آوری مقادیر RSS مورد نیاز برای آغاز، الگوریتم به ‌گونه‌ای طراحی شده است که کمترین تکرار خطی در هر دو محور مختصات در آن رعایت شده باشد. در ‏شکل (6)، این طراحی به همراه نقاط بین‌راهی و سلول‌های یادگیری Q نمایش داده شده است. پهپاد با توجه به شعاع ارتباطی خود، این مسیر را تا زمانی طی می‌کند که داده‌های  RSSبه میزان کافی برای راه‌اندازی الگوریتم یادگیری و آغاز فرایند مکان‌یابی و ردیابی جمع‌آوری شوند. پس از این مرحله، ادامۀ مسیر و تصمیم‌گیری برای حرکت پهپاد بر اساس موقعیت منبع سیگنال و خروجی الگوریتم یادگیری Q  صورت خواهد گرفت.

شکل (6): مسیر اولیۀ پهپاد برای یافتن کمترین تعداد اندازه‌گیری RSS مورد نیاز برای موقعیت‌یابی و ردیابی منبع سیگنال

یک نمونه از مسیرهای حرکت پهپاد و نتایج مکان‌یابی و ردیابی منبع سیگنال متحرک با استفاده از ترکیب الگوریتم‌های یادگیری Q و LS در شکل (7) نشان داده شده است. همچنین، شکل (8) نمونه‌ای از تصویر مسیر حرکت پهپاد و ردیابی منبع سیگنال را در صورت وجود فیلتر کالمن در الگوریتم‌ها نشان می‌دهد. همان‌طور که از این دو تصویر مشخص است، افزودن فیلتر کالمن باعث بهبود ردیابی منبع سیگنال شده است.

شکل (7): مسیر پهپاد و موقعیت منبع سیگنال در ردیابی منبع سیگنال متحرک با ترکیب یادگیری Q و LS

شکل (8): مسیر پهپاد و موقعیت منبع سیگنال در ردیابی منبع سیگنال متحرک با ترکیب فیلتر کالمن، یادگیری Q و LS

شبیه‌سازی‌ها برای 50 بار تکرار شده‌اند و نتایج RMSE تمام موقعیت‌های منبع سیگنال در محیط بررسی شده است. در تمام مراحل آزمایش، به منظور تعادل میان اکتشاف و بهره‌برداری از محیط، مقدار  برابر 5/0 تنظیم شده است. در نمودارهای نمایش مسیر ردیابی، نقاط سبز‌رنگ مسیر واقعی حرکت منبع سیگنال و نقاط قرمزرنگ موقعیت‌های تخمین‌زده‌شده در الگوریتم‌ها هستند. نحوۀ محاسبۀ RMSE برای منبع سیگنال متحرک در (28) بیان شده است که در آن  تعداد تکرار آزمایش است.

نمودار RMSE منبع سیگنال در کل عملیات ردیابی در شکل (9) و شکل (10) نشان داده شده است. این نمودارها اطلاعات RMSE در طول مسیر حرکت منبع سیگنال را به‌ترتیب در صورت عدم وجود و وجود فیلتر کالمن در الگوریتم‌ها نمایش می‌دهند. طبق نتایج جدول (5)، میانگین RMSE کل مسیر حرکت توسط الگوریتم‌ توسعه‌یافته با فیلتر کالمن 42 درصد کاهش یافته است.

شکل (9): نمودار RMSE موقعیت منبع سیگنال بدون فیلتر کالمن در ردیابی با 50 آزمایش

شکل (10): نمودار RMSE موقعیت منبع سیگنال در صورت وجود فیلتر کالمن در الگوریتم‌ها با 50 آزمایش

جدول (5): بررسی تأثیر فیلتر کالمن بر RMSE کل مسیر منبع سیگنال متحرک با 50 بار آزمایش

به ‌منظور ارزیابی عملکرد الگوریتم تحت شرایط دینامیکی متنوع، آزمایش‌هایی با مقادیری مختلف از سرعت هدف انجام شدند. طبق نتایج نشان‌داده‌شده در شکل (11)، با افزایش سرعت حرکت هدف، مقدار RMSE نیز به ‌صورت تقریباً خطی افزایش می‌یابد. این رویداد از منظر نظری نیز قابل توجیه است، زیرا با افزایش سرعت هدف، پیش‌بینی موقعیت آن دشوارتر می‌شود و همین باعث افزایش خطای تخمین می‌شود. همچنین، همان‌طور که مشاهده می‌شود، حضور فیلتر کالمن در الگوریتم باعث کاهش خطا می‌شود.

شکل (11): تغییرات RMSE تخمین مکان برحسب سرعت‌های مختلف هدف با 50 آزمایش

علاوه ‌بر این، تأثیر نسبت سرعت پهپاد به سرعت هدف بر دقت موقعیت‌یابی و مصرف انرژی نیز بررسی شده است. نتایج نشان می‌دهد با افزایش این نسبت، خطای موقعیت‌یابی کاهش می‌یابد؛ به ‌گونه‌ای ‌که با دو برابر شدن سرعت پهپاد نسبت به هدف، RMSE حدود ۱۹ درصد کاهش یافته است. با این حال، این بهبود دقت با افزایش چشمگیر مصرف انرژی همراه بوده است؛ به‌ طوری‌ که میانگین انرژی مصرفی ۵٫۴ برابر شده است.

5-1- پیچیدگی محاسباتی و حافظۀ لازم

پیچیدگی زمانی الگوریتم یادگیری Q در این پژوهش به‌ازای هر گام یادگیری برابرO(|A|)  است که در آن |A| نشان‌دهندۀ تعداد اقدامات مجاز برای عامل است. با توجه به اینکه در این مسئله عامل ۹ اقدام ممکن دارد، پیچیدگی زمانی هر گام برابرO(9)  است. بنابراین، از منظر زمانی، هر گام یادگیری بسیار سبک و قابل اجرا در زمان واقعی است. در نهایت، با در نظر گرفتن ۵۰۰۰ رویداد یادگیری، حداکثر ۱۱ گام در هر رویداد و ۹ اقدام ممکن در هر وضعیت، پیچیدگی زمانی کل فرایند یادگیری به ‌صورت O(9×5000×11) برآورد می‌شود.

فضای حالت الگوریتم یادگیری Q فقط شامل ۲۵ حالت است. همان‌طور که قبلاً بیان شد، به ‌منظور پوشش کامل تمامی ترکیب‌های ممکن از موقعیت اولیۀ پهپاد و منبع سیگنال، الگوریتم به ‌صورت مستقل برای هر یک از ۶۲۵ حالت ممکن (۲۵ موقعیت اولیه برای پهپاد × ۲۵ موقعیت برای منبع سیگنال) آموزش داده شده است و مقادیر Q حاصل ذخیره شده‌‌اند. متوسط زمان مورد نیاز برای هر بار یادگیری حدود 17 ثانیه بوده و در مجموع کل فرایند آموزش تقریباً 1070 ثانیه زمان برده است. اجرای الگوریتم یادگیری در محیط ویندوز ۱۰ (نسخۀ ۶۴بیتی) با استفاده از زبان برنامه‌نویسی Python نسخۀ ۳.۱۱.۰، بر روی سیستمی مجهز به پردازندۀ Intel Core i5-4210U و حافظۀ RAM به ظرفیت ۱۲ گیگابایت انجام شده است.

پیچیدگی فضایی الگوریتم یادگیری Q برابر O(∣S∣×∣A∣) است که در آن ∣S∣ نشان‌دهندۀ تعداد کل حالات محیط و∣A∣  تعداد اقدامات ممکن برای عامل است. این پیچیدگی ناشی از نیاز حافظه‌ای الگوریتم برای ذخیرۀ جدول Q است که در آن برای هر جفت حالت-اقدام یک مقدار Q منحصربه‌فرد نگهداری می‌شود. بر این اساس، پیچیدگی فضایی الگوریتم پیشنهادی با فرض وجود ۲۵ حالت و ۹ اقدام مجاز برابرO(25×9)  خواهد بود. با در نظر گرفتن تمامی ترکیب‌های ممکن از موقعیت اولیۀ پهپاد و موقعیت منبع سیگنال، به مجموع 625 جدول Q نیاز خواهد بود [33].

6- نتیجه‌گیری

نتایج شبیه‌سازی نشان می‌دهد ترکیب الگوریتم یادگیریQ  با روش LS، با بهره‌گیری هم‌زمان از قابلیت یادگیری و دقت تخمین، رویکردی کارآمد برای مکان‌یابی و ناوبری پهپاد فراهم کرده است. همچنین، ترکیب این روش‌ها با فیلتر کالمن در ردیابی منابع متحرک موجب کاهش 42 درصدی RMSE در مقایسه با روش‌های بدون فیلتر کالمن شده است. در مجموع، چارچوب پیشنهادی با تکیه بر تلفیق هدفمند الگوریتم‌های یادگیری و تخمین، توانسته است راهکاری برای مکان‌یابی و ردیابی منابع سیگنال با استفاده از فقط یک پهپاد در شرایط محیطی پیچیده و نیمه‌شهری ارائه دهد. برای مطالعات آتی، پیشنهاد می‌شود از الگوریتم‌های RL عمیق به ‌منظور بهینه‌سازی ناوبری پهپاد و افزایش دقت مکان‌یابی استفاده شود.

[1] Global Positioning System

[2] Radio Frequency

[3] Received Signal Strength

[4] Time of Arrival

[5] Time Difference of Arrival

[6] Angle of Arrival

[7] Reinforcement Learning

[8] Illegal Radio Station

[9] Autonomous Air Vehicle

[10] Extended Kalman filter

[11] Unscented Kalman Filter

[12] Deep Reinforcement Learning

[13] Least Square

[xiv] Line of Sight

[xv] Non-Line of Sight

[xvi] Drag

[xvii] Parasite Power

[xviii] Markov Decision Process

[xix] Exploitation

[xx] Exploration

[xxi] Epsilon Greedy Policy

[xxii] Wireless Body Area Network

[xxiii] Episode

[xxiv] Decay Rate