Kullanıcı:Kahveciug/Scrapy
| Geliştirici(ler) | Zyte (eski adıyla Scrapinghub) |
|---|---|
| İlk yayımlandığı tarih | 26 Haziran 2008 |
| Kararlı sürüm | 2.6.1
/ 1 March 2022 |
| Depo | |
| Yazıldığı programlama dili | Python |
| İşletim Sistemi | Windows, macOS, Linux |
| Tipi | Arama robotu (web crawler) |
| Lisans | BSD Lisansı |
| İnternet sayfası | scrapy.org
|
Scrapy (sık-rey-pi) Python ile yazılmış ücretsiz ve açık kaynaklı bir web tarama çerçevesidir. Orijinal olarak web kazıma için tasarlanmış olup, uygulama programlama arayüzlerini (API) kullanarak veya genel amaçlı bir web tarayıcısı olarak veri çıkarmak için de kullanılabilir. [1] Şu anda, bir web kazıma geliştirme ve hizmet şirketi olan Zyte tarafından (eski adıyla Scrapinghub) tarafından sürdürülmektedir.
Scrapy proje mimarisi, bir dizi talimat verilen kendi kendine yeten tarayıcılar olan "örümcekler" etrafında inşa edilmiştir. Geliştiricilerin kodlarını yeniden kullanmalarına izin vererek büyük tarama projeleri oluşturmayı ve ölçeklendirmeyi kolaylaştırır.
Scrapy çerçevesi, otomatik kısma, dönen proxy'ler ve kullanıcı aracıları gibi güçlü özellikler sunarak, ağda neredeyse fark edilmeden kazıma yapmaya olanak tanır. Scrapy, geliştiriciler tarafından bir sitenin davranışına ilişkin varsayımlarını test etmek için kullanılabilecek bir web tarama kabuğu da sağlar. [2]
Scrapy kullanan bazı tanınmış şirketler ve ürünler şunlardır: Lyst, [3] [4] Parse.ly, [5] Sayone Technologies, [6] Sciences Po Medialab, [7] Data.gov.uk 'nin "Dünya Yönetim Verisi" sitesi. [1]
Tarih[değiştir | kaynağı değiştir]
Scrapy, Mydeco ve Insophia (Uruguay Montevideo merkezli bir web danışmanlık şirketi) çalışanları tarafından geliştirilip sürdürüldüğü Londra merkezli web toplama ve e-ticaret şirketi Mydeco'da doğdu. İlk halka açık sürüm Ağustos 2008'de BSD lisansı altında yapıldı ve Haziran 2015'te 1.0 sürümü gerçekleşti. 2011 yılında, Zyte (eski adıyla Scrapinghub) yeni resmi bakıcı oldu. [8] [9]
Referanslar[değiştir | kaynağı değiştir]
- <a href="https://scrapy.org/">Resmi İnternet Sayfası</a>
- Scrapy Eğitimi Serisi
[[Kategori:BSD lisansı kullanan yazılımlar]] [[Kategori:Python ile yazılmış özgür yazılımlar]] [[Kategori:Web kazıma]]
- ^ Scrapy at a glance.
- ^ "Scrapy shell". Erişim tarihi: 28 July 2015.
- ^ "Scalable Scraping Using Machine Learning". Erişim tarihi: 28 July 2015.
- ^ Scrapy | Companies using Scrapy
- ^ "Web Crawling & Metadata Extraction in Python".
- ^ "Scrapy Companies". Scrapy website.
- ^ Hyphe v0.0.0: the first release of our new webcrawler is out!
- ^ List of the primary authors & contributors. 2013. Erişim tarihi: 18 November 2013.
- ^ Interview Scraping Hub.