Rozwiązanie

Scraping i crawling

Sieć przeczytana za Ciebie: jedna strona, jej obrazy, cała witryna, jej opinie, jej stos. Każde pobranie przechodzi przez strażnika, który odmawia adresów prywatnych, więc adres od użytkownika nigdy nie dosięgnie niczego, czego nie powinien.

Co jest pod tym kluczem

Scraping

Strona, jej obrazy, favicon, opinie Google, technologia witryny, wpis CEIDG, werdykt moderacji, pełny web scraper.

Crawling

Podstawowy, głęboki albo tylko obrazy; limity głębokości i stron; struktura, którą możesz zaindeksować.

Pobieranie

Bezpieczne pobieranie, tryb stealth, proxy CORS, akcelerator cache, RSS i XML na JSON, strumienie CSV.

Zrzut

Zrzuty ekranu i PDF dowolnego adresu, z prawdziwej przeglądarki.

Struktura

To, co wróciło, sparsowane: tekst, pliki, e-maile, JSON.

Pamięć

To, co pobrał crawl, zostaje na platformie; baza witryn za nim jest wewnętrzna, a endpointy Crawl to sposób, by z niej czytać.

Co jest strzeżone

Nazwy hostów są rozwiązywane przed połączeniem; każdy adres spoza publicznego zakresu unicast — v4, v6 albo mapowany v4 — jest odrzucany; każdy skok przekierowania jest weryfikowany; rozmiary odpowiedzi są ograniczone. Ścieżki z Puppeteerem dokumentują pozostałe okno DNS rebinding zamiast je przemilczać. Strona bezpieczeństwa ma szczegóły.

Wszystkie endpointy Scrapingu

POST/v1/scrape/favicon1 token

{ "url": "https://castomapi.com" }

{
  "status": "success",
  "favicons": [
    { "href": "https://castomapi.com/assets/brand/mark.svg", "type": "image/svg+xml" },
    { "href": "https://castomapi.com/favicon.ico", "sizes": "16x16 32x32 48x48" }
  ],
  "tokensDeducted": 1
}