توسعه كنترلر هوشمند چراغ‌هاي راهنمايي بر پايه يادگيري تقويتي حالت پيوسته در محيط ترافيكي ميكروسكوپيك

افزايش روزافزون تعداد خودروها و در پي آن ترافيك هاي سنگين شهري چالش بزرگي را براي كنترل بهينه ترافيك شهري براي مهندسين ايجاد كرده است. روش مناسب براي كنترل بهينه ترافيك هرچه باشد يقيناً بايد وفق پذير بوده تا بتواند ترافيك شهري را كه داراي طبيعت پويا، پيچيده و تغييرپذير است را به خوبي مديريت نمايد. در اين راستا تمركز اصلي تحقيق حاضر كنترل هوشمند و توزيع يافته چراغ هاي راهنمايي بر پايه يادگيري تقويتي است. كنترل هوشمند چراغ هاي راهنمايي بر پايه يادگيري تقويتي نياز به يادگيري و تصميم گيري در فضاي حالت بزرگ (پيوسته) را دارد. همين امر باعث مي شود كه روش هاي رايج يادگيري تقويتي (حالت گسسته) براي چنين مسائلي (با فضاي حالت بزرگ) به خوبي قابل بسط نباشند. هدف تحقيق حاضر حل اين چالش در مسئله كنترل ترافيك ميكروسكوپيك است. در همين راستا نوآوري تحقيق حاضر را مي توان توسعه كنترلر هوشمند چراغ هاي راهنمايي بر پايه يادگيري تقويتي حالت پيوسته براي حل چالش بزرگ بودن فضاي حالت برشمرد. يادگيري تقويتي حالت پيوسته از شباهت سنجي حالات براي تخمين ارزش آن ها استفاده مي كند. در اين تحقيق به منظور اعتبار سنجي، دو روش يادگيري Q و عملگرنقاد حالت گسسته نيز پياده سازي و عملكرد آن ها با روش پيشنهادي مقايسه شدند. نتايج نشان مي دهند كه روش پيشنهادي منجر به كاهش 16% و 13% زمان سفر در مقايسه با دو روش عملگرنقاد و يادگيري Q مي شود.