Scrapy ile crawl etmek istediğiniz bir internet sitesi için en basit şekilde bir bağlantı kurmak ve veri alıp alamadığınızı kontrol etmek için aşağıdaki gibi bir request test dosyası kullanabilirsiniz.
import scrapy
class TestCrawler(scrapy.Spider):
name = 'testcrawler'
def parse(self, response):
yield {
'title': response.xpath('//h1/text()').extract_first()
}
Bu uygulama ile taradığınız url'deki ilk h1 html elemanının text attribute'u görüntülenir. Terminal'de görüntülediğiniz çıktıya göre testlerinizi ve debug sürecinizi bu şekilde yürütebilirsiniz.
Editör editi: sitedeki bazı diğer benzer yazılar için;
bkz: Scrapy crawling işleminde sonraki sayfaya geçmek
bkz: Web Scraping ile Neler Yapılabilir? Örnek Scraping Projeleri
bkz: Scrapy'de her bir tarama öncesi erteleme eklemek
bkz: Anaconda Navigator'a Scrapy Kurmak
bkz: Scrapy sonuçlarını export etmek (json, xml, csv)
bkz: Scrapy ile yeni bir proje açmak