Scrapy'de crawler geliştirirken farklı amaçlar ya da ölçekler için kkullanabileceğimiz 4 adet şablon (template) bulunmaktadır. Scrapy şablonlarını listelemek için aşağıdaki komut kullanılabilir:
scrapy genspider -l
basic template: Scrapy'de internet siteleri için crawler geliştirmek için en basit ve hızlı şablondur.
crawl template: Scrapy'de internet sitelerini crawl edebilmek için daha detaylı araçlae sunan şablondur.
csvfeed template: online csv dosyalarını crawl etmek için geliştirilmiş şablondur.
xmlfeed template: online xml dosyalarını crawl etmek için geliştirilmiş şablondur.
Yeni bir crawler oluştururken herhangi bir parametre kullanılmaması durumunda en basic ve pratik şablon olan basic template ile bir spider eklenmiş olur.
bkz: Scrapy ile yeni bir proje açmak
Eğer daha detaylı bir spider geliştirmek için crawl template gibi bir şablon kullanılacaksa, spider eklerken şablon değiştirmek için -t parametresi kullanılır.
scrapy genspider -t crawl spider_adi spider_url
Editör editi: sitedeki bazı diğer benzer yazılar için;
bkz: Web Scraping ile Neler Yapılabilir? Örnek Scraping Projeleri
bkz: Scrapy'de user-agent değiştirmek
bkz: Scrapy crawling işleminde sonraki sayfaya geçmek
bkz: Scrapy ile response alma örneği (en basit yöntem)
bkz: Scrapy Projesi Github'a Nasıl Eklenir?
bkz: Scrapy'de loglama nasıl yapılır?