شماره ركورد كنفرانس
5545
عنوان مقاله
بهينه سازي الگوريتم فرا ابتكاري بر روي ساختار MH
پديدآورندگان
صادقي طيبه sadeghi.tayebeh@hotmail.com دانشجوي دكتري تخصصي، گروه مهندسي كامپيوتر- نرم افزار و الگوريتم، دانشكده فني و مهندسي، واحد گرگان، دانشگاه آزاد اسلامي، گرگان، ايران. , نودهي علي Ali.nodehi84@gtmail.com استاديار گروه مهندسي كامپيوتر، واحد گرگان، دانشگاه آزاد اسلامي، گرگان، ايران.
تعداد صفحه
20
كليدواژه
بهينه سازي فراپارامتري , يادگيري عميق , شبكه هاي عصبي , الگوريتم هاي فراابتكاري.
سال انتشار
1402
عنوان كنفرانس
چهارمين كنفرانس ملي چالش ها و راهبردهاي نوين در مهندسي برق و كامپيوتر ايران
زبان مدرك
فارسي
چكيده فارسي
فرآيند يادگيري و بهينهسازي فراپارامتري شبكههاي عصبي مصنوعي (ANN) و معماريهاي يادگيري عميق (DL) يكي از چالشبرانگيزترين مشكلات يادگيري ماشين در نظر گرفته ميشود. چندين مطالعه گذشته از روشهاي انتشار برگشتي مبتني بر گراديان براي آموزش معماريهاي DL استفاده كردهاند. با اين حال، روش هاي مبتني بر گراديان داراي اشكالات عمده اي مانند چسبيدن به حداقل هاي محلي در توابع هزينه چندهدفه، زمان اجراي گران به دليل محاسبه اطلاعات گراديان با هزاران تكرار و نياز به پيوسته بودن توابع هزينه هستند. از آنجايي كه آموزشANN ها وDL ها يك مسئله بهينه سازي سخت NP است، بهينه سازي ساختار و پارامترهاي آن ها با استفاده از الگوريتم هاي فراابتكاري (MH) بطور قابل توجهي مطرح شده است. الگوريتمهاي MH ميتوانند تخمين بهينه مؤلفههاي DL (مانند فراپارامتر، وزنها، تعداد لايهها، تعداد نورونها، نرخ يادگيري و غيره) را با دقت فرموله كنند. اين مقاله مروري جامع از بهينهسازي ANN و DL با استفاده از الگوريتمهاي MH ارائه ميكند. در اين مقاله، آخرين پيشرفتها در استفاده از الگوريتمهاي MH در روشهاي DL و ANN را بررسي كرده، معايب و مزاياي آنها را ارائه كردهايم و به برخي جهتهاي تحقيقاتي براي پركردن شكافهاي بين روشهاي MH و DL اشاره كردهايم. علاوه بر اين، توضيح داده شده است كه معماري تركيبي تكاملي هنوز كاربرد محدودي در ادبيات دارد. همچنين، اين مقاله آخرين الگوريتمهاي MH را در ادبيات طبقهبندي ميكند تا اثربخشي آن ها را در آموزش DL و ANN براي كاربردهاي مختلف نشان دهد. بيشتر محققان تمايل دارند الگوريتمهاي تركيبي جديد را با تركيب MHs براي بهينهسازي فراپارامترهاي DL و ANN گسترش دهند. توسعه MH هاي تركيبي به بهبود عملكرد الگوريتم ها كمك مي كند و قادر به حل مسائل پيچيده بهينه سازي است. به طور كلي، عملكرد بهينه MHs بايد بتواند به يك مبادله مناسب بين ويژگيهاي اكتشاف و بهرهبرداري دست يابد. از اين رو، اين مقاله سعي مي كند الگوريتم هاي مختلف MH را از نظر روند همگرايي، اكتشاف، بهره برداري و توانايي اجتناب از حداقل هاي محلي خلاصه كند. انتظار مي رود ادغام MH با DLها در چند سال آينده روند آموزش را تسريع كند. با اين حال، انتشارات مرتبط با اين روش هنوز نادر است.
كشور
ايران
لينک به اين مدرک