ارائه مدل معاملاتي با فراواني زياد، همراه با مديريت پوياي سبد سهام به روش يادگيري تقويتي در بورس اوراق بهادار تهران

Developing a High-Frequency Trading system with Dynamic Portfolio Management using Reinforcement Learning in Iran Stock Market

هدف: شكاف بين زمان دريافت سيگنال خريد/ فروش و آغاز روند تغيير قيمت در بازارهاي نوظهور، بستر مناسبي براي پيادهسازي سيستمهاي معاملات الگوريتمي ايجاد ميكند. ارائه يك سيستم معاملاتي با تكرار زياد، مزايا (استفاده از نوسانهاي درونروزي) و معايبي (هزينه زياد معاملاتي) دارد كه با طراحي درست آن و اصلاح مقررات معامله، ميتوان مزاياي آن را افزايش داد و معايبش را كنترل كرد.روش: در اين پژوهش، به ارائه رويكرد استفاده از خودمعامله گرها براي پيشبيني روند آتي سهم و بهره گيري از روش يادگيري تقويتي به‌ منظور مديريت پوياي سبد سهام پرداخته شده و دو مدل بر همين پايه ارائه شده است. مدل نخست با بهره بردن از پيشنهاد‌ خودمعاملهگرها، به معامله با مقدار ثابت اقدام ميكند. مدل دوم كه به ‌نوعي بسط داده‌ شده مدل نخست است، به كمك روش يادگيري تقويتي، به مديريت پوياي سبد سهام ميپردازد.يافته ها: نتايج نشان ميدهد عملكرد هر دو مدل در بازارهاي نزولي و نرمال، بهتر از استراتژي خريد و نگهداري است. همچنين بر اساس نتايج، در تمام بازارها مدل دوم در مقايسه با مدل نخست، عملكرد بهتري دارد.نتيجه گيري: به طور كلي در بازار صعودي بهترين استراتژي، خريد و نگهداري دارايي است، در نتيجه نميتوان از الگوريتم هاي پيشنهادي عملكردي بهتر از اين استراتژي انتظار داشت. از سويي ديگر ميتوان گفت روش شبكه عصبي براي پيش بيني روند آتي سهم با رويكرد ارائه شده در اين پژوهش، عملكرد بسيار مناسبي در بازارهاي نزولي و نرمال داشته است. همچنين پيادهسازي روش يادگيري تقويتي به منظور مديريت پوياي سبد سهام توانسته عملكرد مدل را بسيار بهبود بخشد.

Objective: Presence of the considerable gap between the time of receiving the buy/sell signals and the beginning of the price change trend provides an appropriate situation for implementation of algorithmic trading systems. Tehran stock exchange is one of these markets. A high-frequency trading system has some advantages (exploiting intraday stock market volatility) and disadvantages (high amounts of transaction cost due to the high transaction volume), thus we can augment the advantages and control the disadvantages by designing the system elaborately and modifying the trading regulations. Methods: In this research, the “Local Traders” approach has been utilized to predict the future trend of stock and Reinforcement Learning has been used for dynamic portfolio management. According to the “Local Traders” approach, there is a local trader (an agent) for each stock that is expert at it. It predicts the future trend of its own stock based on stock’s intraday data and their technical indicators by determining how beneficial it is to buy, sell or hold. In this research, 2 models will be proposed based on Local Traders. Based on the first one, trades with fixed lot size were sought by exploiting the local traders’ recommendations. In the second model which is an extension of first model, one can dynamically manages the portfolio using reinforcement learning and local traders’ recommendations. Results: Results showed that, the proposed models outperformed the Buy and Hold strategy in Normal and Descending markets. Furthermore, in all kinds of markets, the second model outperformed the first one. Conclusion: Generally, the Buy and Hold strategy works the best in an Ascending market, hence the proposed algorithms are not expected to outperform this strategy. However, the performance of the proposed approach along with Neural Network method to anticipate the future trend of stocks was considerable in Normal and Descending markets. In addition, the implementation of Reinforcement Learning model to dynamically manage the portfolio has improved the results.