robots.txt আনার জন্য একটি ওয়েবসাইট URL লিখুন, ক্রলার গ্রুপ পার্স করুন, সাইটম্যাপ নির্দেশিকা সনাক্ত করুন এবং লিঙ্ক করা সাইটম্যাপ XML ফাইলগুলিকে যাচাই করুন৷
বিশ্লেষক গুরুত্বপূর্ণ বটগুলি রুট পাথ ক্রল করতে পারে কিনা তা পরীক্ষা করে, সাইটম্যাপ ইউআরএল গণনা করে, ডুপ্লিকেট বা বাহ্যিক ইউআরএল খুঁজে পায় এবং সাইটম্যাপ এন্ট্রিগুলির জন্য একটি নমুনাযুক্ত ভাঙা-লিঙ্ক পরীক্ষা করে।