Obter status do crawl

Obter o status de uma tarefa de rastreamento

curl --request GET \
  --url https://api.firecrawl.dev/v2/crawl/{id} \
  --header 'Authorization: Bearer <token>'

const options = {method: 'GET', headers: {Authorization: 'Bearer <token>'}};

fetch('https://api.firecrawl.dev/v2/crawl/{id}', options)
  .then(res => res.json())
  .then(res => console.log(res))
  .catch(err => console.error(err));

<?php

$curl = curl_init();

curl_setopt_array($curl, [
  CURLOPT_URL => "https://api.firecrawl.dev/v2/crawl/{id}",
  CURLOPT_RETURNTRANSFER => true,
  CURLOPT_ENCODING => "",
  CURLOPT_MAXREDIRS => 10,
  CURLOPT_TIMEOUT => 30,
  CURLOPT_HTTP_VERSION => CURL_HTTP_VERSION_1_1,
  CURLOPT_CUSTOMREQUEST => "GET",
  CURLOPT_HTTPHEADER => [
    "Authorization: Bearer <token>"
  ],
]);

$response = curl_exec($curl);
$err = curl_error($curl);

curl_close($curl);

if ($err) {
  echo "cURL Error #:" . $err;
} else {
  echo $response;
}

package main

import (
	"fmt"
	"net/http"
	"io"
)

func main() {

	url := "https://api.firecrawl.dev/v2/crawl/{id}"

	req, _ := http.NewRequest("GET", url, nil)

	req.Header.Add("Authorization", "Bearer <token>")

	res, _ := http.DefaultClient.Do(req)

	defer res.Body.Close()
	body, _ := io.ReadAll(res.Body)

	fmt.Println(string(body))

}

require 'uri'
require 'net/http'

url = URI("https://api.firecrawl.dev/v2/crawl/{id}")

http = Net::HTTP.new(url.host, url.port)
http.use_ssl = true

request = Net::HTTP::Get.new(url)
request["Authorization"] = 'Bearer <token>'

response = http.request(request)
puts response.read_body

{
  "completed": 123,
  "completedAt": "2023-11-07T05:31:56Z",
  "createdAt": "2023-11-07T05:31:56Z",
  "creditsUsed": 123,
  "data": [
    {
      "blocks": [
        {
          "height": 123,
          "items": [
            {
              "bbox": [
                123
              ],
              "confidence": {
                "layout": 123,
                "ocr": 123
              },
              "content": "<string>",
              "id": "<string>",
              "label": "<string>",
              "markdownSpan": [
                123
              ],
              "readingOrder": 123,
              "source": "<string>",
              "type": "<string>"
            }
          ],
          "pageNumber": 123,
          "status": "<string>",
          "width": 123
        }
      ],
      "html": "<string>",
      "links": [
        "<string>"
      ],
      "markdown": "<string>",
      "metadata": {
        "<any other metadata> ": "<string>",
        "concurrencyLimited": true,
        "concurrencyQueueDurationMs": 123,
        "description": "<string>",
        "error": "<string>",
        "keywords": "<string>",
        "language": "<string>",
        "numPages": 123,
        "ogLocaleAlternate": [
          "<string>"
        ],
        "sourceURL": "<string>",
        "statusCode": 123,
        "title": "<string>",
        "totalPages": 123,
        "url": "<string>"
      },
      "pages": [
        {
          "markdown": "<string>",
          "pageNumber": 123
        }
      ],
      "rawBase64": "<string>",
      "rawHtml": "<string>",
      "screenshot": "<string>"
    }
  ],
  "duration": 123,
  "expiresAt": "2023-11-07T05:31:56Z",
  "next": "<string>",
  "status": "<string>",
  "total": 123
}

{
  "error": "Payment required to access this resource."
}

{
  "error": "Request rate limit exceeded. Please wait and try again later."
}

{
  "error": "An unexpected error occurred on the server."
}

GET

crawl

{id}

Obter o status de uma tarefa de rastreamento

curl --request GET \
  --url https://api.firecrawl.dev/v2/crawl/{id} \
  --header 'Authorization: Bearer <token>'

const options = {method: 'GET', headers: {Authorization: 'Bearer <token>'}};

fetch('https://api.firecrawl.dev/v2/crawl/{id}', options)
  .then(res => res.json())
  .then(res => console.log(res))
  .catch(err => console.error(err));

<?php

$curl = curl_init();

curl_setopt_array($curl, [
  CURLOPT_URL => "https://api.firecrawl.dev/v2/crawl/{id}",
  CURLOPT_RETURNTRANSFER => true,
  CURLOPT_ENCODING => "",
  CURLOPT_MAXREDIRS => 10,
  CURLOPT_TIMEOUT => 30,
  CURLOPT_HTTP_VERSION => CURL_HTTP_VERSION_1_1,
  CURLOPT_CUSTOMREQUEST => "GET",
  CURLOPT_HTTPHEADER => [
    "Authorization: Bearer <token>"
  ],
]);

$response = curl_exec($curl);
$err = curl_error($curl);

curl_close($curl);

if ($err) {
  echo "cURL Error #:" . $err;
} else {
  echo $response;
}

package main

import (
	"fmt"
	"net/http"
	"io"
)

func main() {

	url := "https://api.firecrawl.dev/v2/crawl/{id}"

	req, _ := http.NewRequest("GET", url, nil)

	req.Header.Add("Authorization", "Bearer <token>")

	res, _ := http.DefaultClient.Do(req)

	defer res.Body.Close()
	body, _ := io.ReadAll(res.Body)

	fmt.Println(string(body))

}

require 'uri'
require 'net/http'

url = URI("https://api.firecrawl.dev/v2/crawl/{id}")

http = Net::HTTP.new(url.host, url.port)
http.use_ssl = true

request = Net::HTTP::Get.new(url)
request["Authorization"] = 'Bearer <token>'

response = http.request(request)
puts response.read_body

{
  "completed": 123,
  "completedAt": "2023-11-07T05:31:56Z",
  "createdAt": "2023-11-07T05:31:56Z",
  "creditsUsed": 123,
  "data": [
    {
      "blocks": [
        {
          "height": 123,
          "items": [
            {
              "bbox": [
                123
              ],
              "confidence": {
                "layout": 123,
                "ocr": 123
              },
              "content": "<string>",
              "id": "<string>",
              "label": "<string>",
              "markdownSpan": [
                123
              ],
              "readingOrder": 123,
              "source": "<string>",
              "type": "<string>"
            }
          ],
          "pageNumber": 123,
          "status": "<string>",
          "width": 123
        }
      ],
      "html": "<string>",
      "links": [
        "<string>"
      ],
      "markdown": "<string>",
      "metadata": {
        "<any other metadata> ": "<string>",
        "concurrencyLimited": true,
        "concurrencyQueueDurationMs": 123,
        "description": "<string>",
        "error": "<string>",
        "keywords": "<string>",
        "language": "<string>",
        "numPages": 123,
        "ogLocaleAlternate": [
          "<string>"
        ],
        "sourceURL": "<string>",
        "statusCode": 123,
        "title": "<string>",
        "totalPages": 123,
        "url": "<string>"
      },
      "pages": [
        {
          "markdown": "<string>",
          "pageNumber": 123
        }
      ],
      "rawBase64": "<string>",
      "rawHtml": "<string>",
      "screenshot": "<string>"
    }
  ],
  "duration": 123,
  "expiresAt": "2023-11-07T05:31:56Z",
  "next": "<string>",
  "status": "<string>",
  "total": 123
}

{
  "error": "Payment required to access this resource."
}

{
  "error": "Request rate limit exceeded. Please wait and try again later."
}

{
  "error": "An unexpected error occurred on the server."
}

total conta as páginas concluídas, ativas, na fila e em backlog, e exclui as que falharam. Portanto, completed == total em um rastreamento finalizado não significa que todas as páginas descobertas foram processadas com sucesso. Combine os contadores com Obter erros do crawl para ver as páginas que foram tentadas, mas não retornadas, e consulte Execução e contabilização de resultados para saber como interpretá-los em conjunto e quando parar de paginar com next.

Você é um agente de IA que precisa de uma chave de API do Firecrawl? Veja firecrawl.dev/agent-onboarding/SKILL.md para instruções de onboarding automatizado.

Autorizações

Authorization

string

header

obrigatório

Bearer authentication header of the form Bearer <token>, where <token> is your auth token.

Parâmetros de caminho

string<uuid>

obrigatório

O ID da tarefa de rastreamento

Resposta

Resposta bem-sucedida

completed

integer

O número de páginas que foram rastreadas com sucesso.

completedAt

string<date-time>

A data e a hora em que o rastreamento foi concluído. Presente apenas quando o rastreamento está em um estado final (completed, failed ou cancelled).

createdAt

string<date-time>

A data e a hora em que o rastreamento foi iniciado.

creditsUsed

integer

O número de créditos utilizados no rastreamento.

data

object[]

Os dados do rastreamento.

Show child attributes

duration

number

Duração do rastreamento em segundos. Para rastreamentos em estado final, este é o tempo decorrido de createdAt até completedAt. Para rastreamentos em andamento, é o tempo decorrido de createdAt até o momento atual.

expiresAt

string<date-time>

Data e hora em que o rastreamento expirará.

string | null

A URL usada para recuperar os próximos 10 MB de dados. Retornada se o processo de crawl não estiver concluído ou se a resposta for maior que 10 MB.

status

string

O status atual do rastreamento. Pode ser scraping, completed ou failed.

total

integer

O número total de páginas cuja varredura foi tentada.

Usando a API

Endpoints de busca

Endpoints /scrape

Endpoints para interagir / Browser Sandbox

Endpoints do Research Index

Endpoints do índice para desenvolvedores

Endpoints de mapeamento

Endpoints de análise

Endpoints de rastreamento

Endpoints de monitoramento

Endpoints de agente

Endpoints de feedback

Endpoints de depuração agêntica

Endpoints da conta

Payloads de webhook

Integração de parceiro

Autorizações

Parâmetros de caminho

Resposta