L'IA est entraînée pour identifier le comportement des robots de crawl et les opportunités d'optimisation du budget de crawl.