Przejdź do treści
Dawid Gębara

USŁUGA · WEB SCRAPING

Web scraping: dane ze stron bez ręcznego kopiowania

Piszę narzędzia, które same zbierają dane z publicznych stron i oddają je w formie, z której od razu skorzystasz: arkusz, plik albo import do sklepu.

ZASTOSOWANIA

Do czego firmy używają web scrapingu

Najczęściej chodzi o sklepy internetowe i firmy, które co tydzień ręcznie przepisują dane z cudzych stron.

  1. Monitoring cen konkurencji

    Codzienne zestawienie cen i promocji w sklepach, z którymi konkurujesz. Widzisz zmiany, zanim zobaczą je klienci.

  2. Import produktów od dostawców

    Nazwy, opisy, zdjęcia, ceny i stany z hurtowni, która nie daje pliku XML ani API, prosto do Twojego sklepu.

  3. Dostępność i stany

    Powiadomienie, gdy produkt wraca na stan albo znika z oferty dostawcy.

  4. Analiza rynku

    Oferty, ceny i asortyment w branży zebrane w jednej tabeli, zamiast godzin klikania po stronach.

  5. Migracja starej strony

    Przeniesienie treści, produktów i zdjęć ze starej strony lub sklepu, gdy nie ma do nich eksportu.

  6. Raporty cykliczne

    Te same dane co dzień albo co tydzień w Excelu, Google Sheets lub na mailu, bez ręcznej pracy.

FORMY WSPÓŁPRACY

Jednorazowo, cyklicznie albo prosto do sklepu

Ceny dla jednego źródła. Ceny końcowe: korzystam ze zwolnienia z VAT, więc nic nie dochodzi do kwoty. Dokładne widełki podam po krótkiej rozmowie, bo zależą od źródła i ilości danych.

PRZEBIEG

Jak powstaje scraper

Sam w ten sposób zbieram dane finansowe spółek z GPW do własnych analiz, więc wiem, jak ważne są czyste i regularne dane.

  1. Rozmowa i źródło

    Ustalamy, jakie dane, skąd i jak często. Sprawdzam, czy są publiczne i co mówi regulamin strony.

  2. Próbka

    Pobieram kilkadziesiąt rekordów, żebyś zobaczył dokładnie, co dostaniesz, zanim powstanie całość.

  3. Pełne pobranie

    Scraper działa spokojnie, nie obciąża cudzego serwera i pilnuje, żeby nie było duplikatów ani dziur.

  4. Dostarczenie

    Plik, arkusz albo import do sklepu. Przy monitoringu harmonogram i powiadomienie, gdy coś przestanie działać.

ZASADY

Scraping uczciwie i zgodnie z prawem

PYTANIA

Web scraping: najczęstsze pytania

Czy web scraping jest legalny?

Pobieranie publicznie dostępnych danych jest co do zasady dozwolone, ale znaczenie mają regulamin serwisu, prawa do bazy danych i RODO. Przed startem sprawdzam źródło, a jeśli widzę ryzyko, mówię o tym wprost i proponuję inne rozwiązanie. Nie jest to porada prawna.

W jakim formacie dostanę dane?

Excel, CSV, Google Sheets albo JSON. Mogę też przygotować plik w formacie, który przyjmuje Twój sklep, albo wysłać dane prosto przez jego API.

Co, jeśli strona źródłowa się zmieni?

Wtedy scraper trzeba poprawić. W cyklicznym monitoringu do 1 godziny napraw w miesiącu jest w abonamencie, a dłuższe poprawki rozliczam według stawki 150 zł za godzinę. Przy jednorazowym pobraniu wyceniam poprawkę osobno.

Jak często mogą się odświeżać dane?

Tak często, jak potrzebujesz i jak pozwala źródło. Zwykle wystarcza raz dziennie albo raz w tygodniu.

Czy zbierzesz dla mnie dane osobowe, np. listę kontaktów?

Nie. Nie pobieram danych osobowych bez podstawy prawnej (RODO), więc nie przygotowuję baz e-maili, telefonów ani list z imionami i nazwiskami do wysyłki ofert.

Czy pobierzesz dane zza logowania?

Tylko z Twojego konta, do którego masz prawo, np. z panelu hurtowni. Nie omijam zabezpieczeń ani cudzych logowań.

Masz dane, które przepisujesz ręcznie?

Napisz, skąd je bierzesz i do czego są Ci potrzebne. Odpiszę, czy da się to zautomatyzować i ile to mniej więcej kosztuje.