بكارگيري روش يادگيري تقويتي سارسا در يادگيري بافر مقدار سفارش در سيستم هاي كنترل موجودي غيرايستا

Using Sarsa Reinforcement Learning Method for Replenishment Buffer Quantity in Non-Stationary Inventory Systems

شيوه ي كنترل موجودي مورد مطالعه در اين مقاله از نوع مديريت موجودي توسط فروشنده (VMI) مي باشد كه در سال هاي اخيربا پيشرفت فناوري اطلاعات از يك سو و افزايش رقابت از سوي ديگر، مورد توجه بسياري از زنجيره هاي تامين كالا قرار گرفته است. در اين پژوهش از تلفيق مديريت موجودي توسط فروشنده و يادگيري تقويتي به مديريت سفارشات در يك زنجيره تامين سه سطحي پرداخته شده است. در اين مدل عامل توزيع كننده مسئول پايش و كنترل موجودي خرده فروش است. تقاضاي مشتري غيرايستا بوده و توسط دو روش پيش بيني هموارسازي نمايي و هموارسازي خطي هولت، پيش بيني مي شود. براي مواجهه با نوسانات تقاضاي غيرايستا، مقدار بازپرسازي احتياطي به عنوان بافر مقدار سفارش با كمك يادگيري تقويتي به نحوي اتخاذ مي شود كه كمترين هزينه موجودي را به سيستم اعمال كند. روش يادگيري تقويتي استفاده شده روش سارسا مي باشد كه يكي از روش هاي متداول تفاوت گذرا مي باشد. نتايچ حاصل از شبيه سازي در طي 1000 دوره بازپرسازي حاكي از عملكرد مناسب يادگيري تقويتي در مساله مديريت موجودي در محيط غيرايستا است.

In this paper, we study the Vendor Managed Inventory (VMI) policy that due to Developments in IT and increase in competitions has recently been the center of attention in many supply chains. In this study, the combination of VMI and reinforcement learning is used to manage orders in a three-level supply chain. In our supply chain problem, one supplier is responsible for managing a retailer’s inventory under non-stationary customer demand. Retailer does not have control on inventory replenishment amount. Instead, the supplier is responsible for maintaining appropriate inventory levels of the retailer and use prediction methods like exponential smoothing and Holt linear smoothing for predicting non-stationary customer demand. To cope with the nonstationary demand situation, the safety replenishment quantity is used as a buffer of order quantity, which is determined with the application of reinforcement learning with consideration of minimizing the inventory cost. Sarsa algorithm is applied in this paper, which is a kind of Temporal Difference Reinforcement Learning techniques. The simulation results over 1000 period of replenishment proves the efficiency of proposed method.