طراحي و پيادهسازي يك خزشگر زباني جهت بهبود سازوكار خزش در مستندات فارسي وب

حجم زياد، ماهيت پويا و غيرقابل كنترل وب چالشهاي زيادي را در خصوص خزش وب ايجاد نموده است. روشهاي خزش به طور كلي به دو دسته عمومي و متمركز قابل تقسيم هستند. در روش خزش عمومي همه صفحات وب جمعآوري ميشوند و در روش خزش متمركز تنها بخشي از صفحات وب كه با موضوع خاصي مرتبط هستند،جمعآوري ميگردند. خزش زباني به نوعي از خزش متمركز اطلاق ميشود كه صفحات نوشته شده به زبان مورد نظر را جمع- آوري ميكند. با توجه به اينكه وب حاوي گستره وسيعي از دادههاي بدون ساختار و نوشته شده به زبانهاي مختلف است، نحوه انجام خزش زباني ازجمله چالشهاي بازيابي اطلاعات در محيط وب است. دراين مقاله براي بهبود خزش مستندات فارسي وب، يك خزشگر زباني پيشنهاد گرديده و تشريح شده است. نتايج حاصل از پياده سازي و تست اين خزشگر نشان ميدهد خزشگر زباني در خزش صفحات فارسي وب با كارايي بهتري عمل ميكند.