Récupérer les erreurs de crawl

Récupérer les erreurs d'une tâche de crawl

curl --request GET \
  --url https://api.firecrawl.dev/v2/crawl/{id}/errors \
  --header 'Authorization: Bearer <token>'

const options = {method: 'GET', headers: {Authorization: 'Bearer <token>'}};

fetch('https://api.firecrawl.dev/v2/crawl/{id}/errors', options)
  .then(res => res.json())
  .then(res => console.log(res))
  .catch(err => console.error(err));

<?php

$curl = curl_init();

curl_setopt_array($curl, [
  CURLOPT_URL => "https://api.firecrawl.dev/v2/crawl/{id}/errors",
  CURLOPT_RETURNTRANSFER => true,
  CURLOPT_ENCODING => "",
  CURLOPT_MAXREDIRS => 10,
  CURLOPT_TIMEOUT => 30,
  CURLOPT_HTTP_VERSION => CURL_HTTP_VERSION_1_1,
  CURLOPT_CUSTOMREQUEST => "GET",
  CURLOPT_HTTPHEADER => [
    "Authorization: Bearer <token>"
  ],
]);

$response = curl_exec($curl);
$err = curl_error($curl);

curl_close($curl);

if ($err) {
  echo "cURL Error #:" . $err;
} else {
  echo $response;
}

package main

import (
	"fmt"
	"net/http"
	"io"
)

func main() {

	url := "https://api.firecrawl.dev/v2/crawl/{id}/errors"

	req, _ := http.NewRequest("GET", url, nil)

	req.Header.Add("Authorization", "Bearer <token>")

	res, _ := http.DefaultClient.Do(req)

	defer res.Body.Close()
	body, _ := io.ReadAll(res.Body)

	fmt.Println(string(body))

}

require 'uri'
require 'net/http'

url = URI("https://api.firecrawl.dev/v2/crawl/{id}/errors")

http = Net::HTTP.new(url.host, url.port)
http.use_ssl = true

request = Net::HTTP::Get.new(url)
request["Authorization"] = 'Bearer <token>'

response = http.request(request)
puts response.read_body

{
  "errors": [
    {
      "error": "<string>",
      "id": "<string>",
      "timestamp": "<string>",
      "url": "<string>"
    }
  ],
  "robotsBlocked": [
    "<string>"
  ]
}

{
  "error": "Payment required to access this resource."
}

{
  "error": "Request rate limit exceeded. Please wait and try again later."
}

{
  "error": "An unexpected error occurred on the server."
}

GET

crawl

{id}

errors

Récupérer les erreurs d'une tâche de crawl

curl --request GET \
  --url https://api.firecrawl.dev/v2/crawl/{id}/errors \
  --header 'Authorization: Bearer <token>'

const options = {method: 'GET', headers: {Authorization: 'Bearer <token>'}};

fetch('https://api.firecrawl.dev/v2/crawl/{id}/errors', options)
  .then(res => res.json())
  .then(res => console.log(res))
  .catch(err => console.error(err));

<?php

$curl = curl_init();

curl_setopt_array($curl, [
  CURLOPT_URL => "https://api.firecrawl.dev/v2/crawl/{id}/errors",
  CURLOPT_RETURNTRANSFER => true,
  CURLOPT_ENCODING => "",
  CURLOPT_MAXREDIRS => 10,
  CURLOPT_TIMEOUT => 30,
  CURLOPT_HTTP_VERSION => CURL_HTTP_VERSION_1_1,
  CURLOPT_CUSTOMREQUEST => "GET",
  CURLOPT_HTTPHEADER => [
    "Authorization: Bearer <token>"
  ],
]);

$response = curl_exec($curl);
$err = curl_error($curl);

curl_close($curl);

if ($err) {
  echo "cURL Error #:" . $err;
} else {
  echo $response;
}

package main

import (
	"fmt"
	"net/http"
	"io"
)

func main() {

	url := "https://api.firecrawl.dev/v2/crawl/{id}/errors"

	req, _ := http.NewRequest("GET", url, nil)

	req.Header.Add("Authorization", "Bearer <token>")

	res, _ := http.DefaultClient.Do(req)

	defer res.Body.Close()
	body, _ := io.ReadAll(res.Body)

	fmt.Println(string(body))

}

require 'uri'
require 'net/http'

url = URI("https://api.firecrawl.dev/v2/crawl/{id}/errors")

http = Net::HTTP.new(url.host, url.port)
http.use_ssl = true

request = Net::HTTP::Get.new(url)
request["Authorization"] = 'Bearer <token>'

response = http.request(request)
puts response.read_body

{
  "errors": [
    {
      "error": "<string>",
      "id": "<string>",
      "timestamp": "<string>",
      "url": "<string>"
    }
  ],
  "robotsBlocked": [
    "<string>"
  ]
}

{
  "error": "Payment required to access this resource."
}

{
  "error": "Request rate limit exceeded. Please wait and try again later."
}

{
  "error": "An unexpected error occurred on the server."
}

Ce point de terminaison recense les pages qui ne figurent pas dans le tableau data du crawl : errors pour les scrapes que Firecrawl n’a pas réussi à effectuer, et robotsBlocked pour les URL bloquées par robots.txt. Les pages en échec n’apparaissent dans aucun des compteurs de l’état du crawl : c’est donc le seul endroit où les retrouver — mais la liste n’est pas nécessairement exhaustive, car certaines catégories d’échecs internes sont filtrées avant la construction de la réponse. Consultez Exécution et comptabilisation des résultats pour savoir comment l’interpréter au regard des compteurs d’état.

Vous êtes un agent IA et avez besoin d’une clé API Firecrawl ? Consultez firecrawl.dev/agent-onboarding/SKILL.md pour obtenir les instructions d’intégration automatisée.

Autorisations

Authorization

string

header

requis

Bearer authentication header of the form Bearer <token>, where <token> is your auth token.

Paramètres de chemin

string<uuid>

requis

L’ID de la tâche de crawl

Réponse

Réponse réussie

errors

object[]

Tâches de scraping en échec et détails des erreurs

Show child attributes

robotsBlocked

string[]

Liste des URL qui ont été tentées lors du scraping mais bloquées par robots.txt

Utilisation de l’API

Points de terminaison de recherche

Points de terminaison de scraping

Points de terminaison Interact / Browser Sandbox

Points de terminaison de Research Index

Points de terminaison de l’index développeur

Points de terminaison de cartographie

Points de terminaison d’analyse

Points de terminaison crawl

Points de terminaison de surveillance

Points de terminaison Agent

Points de terminaison de retour

Points de terminaison de débogage agentique

Points de terminaison du compte

Charges utiles de webhook

Intégration partenaire

Récupérer les erreurs de crawl

Autorisations

Paramètres de chemin

Réponse