Rekurencyjnie crawluj witrynę renderowaną w JS za pomocą prawdziwej…
Rekurencyjnie crawluj witrynę renderowaną w JS za pomocą prawdziwej przeglądarki w trybie stealth, automatycznie klikając paginację, w obrębie tej samej domeny (odwiedzane strony, ważone głębokością)
Żądanie
- x-api-key: <your-api-key>
- Content-Type: application/json
Odpowiedź
{
"pagesVisited": 10,
"result": {},
"status": "success",
"tokensDeducted": 2
}Co robi
Rekurencyjnie crawluj witrynę renderowaną w JS za pomocą prawdziwej przeglądarki w trybie stealth, automatycznie klikając paginację, w obrębie tej samej domeny (odwiedzane strony, ważone głębokością)
Żądanie
Treść
| Pole | Typ | Wymagane | Opis |
|---|---|---|---|
depth | integer | tak | |
filter | array<string> | nie | |
flat | boolean | tak | |
maxPages | integer | tak | |
nfilter | array<string> | nie | |
website | string | tak |
Przykładowe żądanie
{
"depth": 2,
"filter": [],
"flat": true,
"maxPages": 50,
"nfilter": [],
"website": "https://example.com/page"
}Odpowiedź
| Pole | Typ | Opis |
|---|---|---|
pagesVisited | integer | |
result | object | |
status | string | |
tokensDeducted | integer |
Przykładowa odpowiedź
{
"pagesVisited": 10,
"result": {},
"status": "success",
"tokensDeducted": 2
}Błędy
Każdy błąd ma tę samą kopertę: status HTTP, kod maszynowy i jedno zdanie.
400 | Treść albo parametr nie przeszły walidacji. Tablica details wskazuje pole. |
401 | Brak klucza, klucz cofnięty albo zły nagłówek. Wyślij x-api-key. |
402 | Portfel nie pokrywa tego wywołania. Doładuj albo poczekaj na miesięczny przydział. |
404 | Zasób nie istnieje albo nie jest Twój. Obie sytuacje odpowiadają identycznie i nic nie kosztują. |
429 | Przekroczony limit na minutę dla Twojego planu. Odczekaj i ponów. |
5xx | Usługa nadrzędna odmówiła albo przekroczyła czas. Wywołanie nie jest rozliczane. |
Kod
curl -X POST 'https://app.castomapi.com/v1/crawl/deep' \
-H 'x-api-key: <your-api-key>' \
-H 'Content-Type: application/json' \
-d '{"depth": 2, "filter": [], "flat": true, "maxPages": 50, "nfilter": [], "website": "https://example.com/page"}'const res = await fetch('https://app.castomapi.com/v1/crawl/deep', {
method: 'POST',
headers: { 'x-api-key': '<your-api-key>', 'Content-Type': 'application/json' },
body: JSON.stringify({"depth": 2, "filter": [], "flat": true, "maxPages": 50, "nfilter": [], "website": "https://example.com/page"})
});
const data = await res.json();
console.log(data);import { request } from 'node:https';
// Node 18+ has fetch built in
const res = await fetch('https://app.castomapi.com/v1/crawl/deep', {
method: 'POST',
headers: { 'x-api-key': '<your-api-key>', 'Content-Type': 'application/json' },
body: JSON.stringify({"depth": 2, "filter": [], "flat": true, "maxPages": 50, "nfilter": [], "website": "https://example.com/page"})
});
const data = await res.json();
console.log(data);import requests
res = requests.post(
'https://app.castomapi.com/v1/crawl/deep',
headers={'x-api-key': '<your-api-key>'},
json={"depth": 2, "filter": [], "flat": True, "maxPages": 50, "nfilter": [], "website": "https://example.com/page"},
timeout=30,
)
print(res.json())<?php
$ch = curl_init('https://app.castomapi.com/v1/crawl/deep');
curl_setopt_array($ch, [
CURLOPT_CUSTOMREQUEST => 'POST',
CURLOPT_RETURNTRANSFER => true,
CURLOPT_HTTPHEADER => ['x-api-key: <your-api-key>', 'Content-Type: application/json'],
CURLOPT_POSTFIELDS => json_encode(['depth' => 2, 'filter' => [], 'flat' => true, 'maxPages' => 50, 'nfilter' => [], 'website' => 'https://example.com/page']),
]);
$data = json_decode(curl_exec($ch), true);
print_r($data);Koszt i limity
Ta operacja kosztuje od 2 tokenów. Nieudane wywołanie nigdy nie jest rozliczane. Każde konto dostaje 1000 darmowych tokenów miesięcznie; opłacone saldo nie wygasa. Naliczane za każdą faktycznie odwiedzoną stronę, z wagą zależną od zadanej głębokości. Dostępne w planach PRO i Enterprise: ta operacja zużywa własne klucze lub limity castomAPI. Klucz z planu darmowego dostaje 403 i nie jest rozliczany.
Limity żądań na minutę
| Bez klucza | 10 |
| Free | 60 |
| Pro | 300 |
| Enterprise | 1200 |
Pytania
Ile kosztuje Rekurencyjnie crawluj witrynę renderowaną w JS za pomocą prawdziwej…?
od 2 tokenów za udane wywołanie, pobierane z portfela po odpowiedzi. Nieudane wywołania są bezpłatne. Każde konto dostaje 1000 darmowych tokenów miesięcznie. Naliczane za każdą faktycznie odwiedzoną stronę, z wagą zależną od zadanej głębokości.
Jak się uwierzytelnić?
Wyślij klucz w nagłówku x-api-key. Jeden klucz obejmuje każdy rozliczany endpoint; niczego nie trzeba włączać osobno.
Czy mogę wysłać nagłówek Authorization: Bearer zamiast klucza?
Nie dla rozliczanego endpointu — te przyjmują wyłącznie nagłówek x-api-key. Tokeny Bearer należą do strony konta: panel i API konta przyjmują sesję JWT, a castomapi-auth wydaje je standardowym uzgodnieniem OAuth2, z grantami authorization code, client credentials i refresh. Opisuje to strona usługi auth.
Jakie są limity?
10 żądań na minutę z jednego IP zupełnie bez klucza, 60 na minutę w planie Free, 300 w Pro, 1200 w Enterprise. Powyżej poziomu bez klucza limit jest na konto, łącznie dla wszystkich endpointów.
OpenAPI: https://app.castomapi.com/docs/json