Rastrear

Rastrear envía una URL a Firecrawl y descubre y extrae de forma recursiva todas las subpáginas accesibles. Gestiona automáticamente sitemaps, renderizado de JavaScript y límites de tasa, y devuelve Markdown limpio o datos estructurados para cada página.

Descubre páginas mediante sitemap y recorrido recursivo de enlaces
Admite filtrado por ruta, límites de profundidad y control de subdominios/enlaces externos
Devuelve resultados mediante polling, WebSocket o webhook

Cada página que un crawl extrae pasa por el mismo pipeline de scraping, así que todo lo que scrape puede hacer con una página, crawl puede hacerlo con todas las páginas que alcance. Capacidades enumera cuáles son, dónde se ejecuta cada capacidad y si requiere una clave de API.

Pruébalo en el Playground

Prueba el rastreo en el playground interactivo, sin escribir código.

Instalación

# pip install firecrawl-py

from firecrawl import Firecrawl

firecrawl = Firecrawl(
  # No se necesita API key para comenzar — agrega una para límites de tasa más altos:
  # api_key="fc-YOUR-API-KEY",
)

// npm install firecrawl

import { Firecrawl } from 'firecrawl';

const firecrawl = new Firecrawl({
  // No se necesita API key para comenzar — agrega una para obtener límites de tasa más altos:
  // apiKey: "fc-YOUR-API-KEY",
});

# Instalar globalmente con npm
npm install -g firecrawl

# Autenticar (configuración de una sola vez)
firecrawl login

Uso básico

Envía un trabajo de rastreo llamando a POST /v2/crawl con una URL inicial. El endpoint devuelve un ID de trabajo que usas para consultar los resultados.

from firecrawl import Firecrawl

firecrawl = Firecrawl(api_key="fc-TU-API-KEY")

docs = firecrawl.crawl(url="https://docs.firecrawl.dev", limit=10)
print(docs)

import { Firecrawl } from 'firecrawl';

const firecrawl = new Firecrawl({ apiKey: "fc-TU-CLAVE-DE-API" });

const docs = await firecrawl.crawl('https://docs.firecrawl.dev', { limit: 10 });
console.log(docs);

curl -s -X POST "https://api.firecrawl.dev/v2/crawl" \
  -H "Authorization: Bearer $FIRECRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://docs.firecrawl.dev",
    "limit": 10
  }'

# Iniciar un trabajo de crawl (devuelve el ID del trabajo)
firecrawl crawl https://firecrawl.dev

# Wait for completion with progress
firecrawl crawl https://firecrawl.dev --wait --progress --limit 100

Cada página rastreada consume 1 crédito. El limit de rastreo predeterminado es de 10.000 páginas. Antes de comenzar, el endpoint de rastreo comprueba que tus créditos restantes alcancen para cubrir el limit; si no es así, devuelve un error 402 (Pago requerido). Establece un limit más bajo que se ajuste al tamaño de rastreo previsto (por ejemplo, limit: 100) para evitarlo. Se aplican créditos adicionales para ciertas opciones: el modo JSON cuesta 4 créditos adicionales por página y el análisis de PDF cuesta 1 crédito por página de PDF.

Opciones de scraping

Todas las opciones del endpoint Scrape están disponibles en rastreo mediante scrapeOptions (JS) / scrape_options (Python). Se aplican a cada página que el crawler raspa, incluidos formatos, proxy, caché, acciones, ubicación y etiquetas.

from firecrawl import Firecrawl

firecrawl = Firecrawl(api_key='fc-YOUR_API_KEY')

# Crawl con opciones de scraping
response = firecrawl.crawl('https://example.com',
    limit=100,
    scrape_options={
        'formats': [
            'markdown',
            { 'type': 'json', 'schema': { 'type': 'object', 'properties': { 'title': { 'type': 'string' } } } }
        ],
        'proxy': 'auto',
        'max_age': 600000,
        'only_main_content': True
    }
)

import { Firecrawl } from 'firecrawl';

const firecrawl = new Firecrawl({ apiKey: 'fc-YOUR_API_KEY' });

// Crawl con opciones de scraping
const crawlResponse = await firecrawl.crawl('https://example.com', {
  limit: 100,
  scrapeOptions: {
    formats: [
      'markdown',
      {
        type: 'json',
        schema: { type: 'object', properties: { title: { type: 'string' } } },
      },
    ],
    proxy: 'auto',
    maxAge: 600000,
    onlyMainContent: true,
  },
});

Verificar el estado del rastreo

Usa el ID del trabajo para consultar el estado del rastreo y recuperar los resultados.

estado = firecrawl.get_crawl_status("<crawl-id>")
print(estado)

const estado = await firecrawl.getCrawlStatus("<id-de-rastreo>");
console.log(estado);

# Después de iniciar un rastreo, consulta el estado por jobId
curl -s -X GET "https://api.firecrawl.dev/v2/crawl/<jobId>" \
  -H "Authorization: Bearer $FIRECRAWL_API_KEY"

# Verificar estado del crawl usando el ID del trabajo
firecrawl crawl <job-id>

Los resultados de los trabajos están disponibles a través de la API durante 24 horas después de su finalización. Después de este periodo, aún puedes ver tu historial de rastreos y resultados en los activity logs.

Las páginas en el array data de los resultados del rastreo son páginas que Firecrawl extrajo correctamente, incluso si el sitio de destino devolvió un error HTTP como 404. El campo metadata.statusCode muestra el código de estado HTTP del sitio de destino. Para recuperar las páginas que Firecrawl no pudo extraer (por ejemplo, errores de red, tiempos de espera o bloqueos por robots.txt), usa el endpoint dedicado Get Crawl Errors (GET /crawl/{id}/errors).

Manejo de respuestas

La respuesta varía según el estado del rastreo. Para respuestas incompletas o de gran tamaño que superen los 10 MB, se proporciona un parámetro de URL next. Debes solicitar esta URL para obtener los siguientes 10 MB de datos. Si el parámetro next no está presente, indica el final de los datos del rastreo.

Los parámetros skip y next solo son relevantes cuando se consume la API directamente. Si usas el SDK, la paginación se gestiona automáticamente y todos los resultados se devuelven de una vez.

{
  "status": "en proceso de scraping",
  "total": 36,
  "completed": 10,
  "creditsUsed": 10,
  "expiresAt": "2024-00-00T00:00:00.000Z",
  "next": "https://api.firecrawl.dev/v2/crawl/123-456-789?skip=10",
  "data": [
    {
      "markdown": "[Página principal de la documentación de Firecrawl![logo claro](https://mintlify.s3-us-west-1.amazonaws.com/firecrawl/logo/light.svg)!...",
      "html": "<!DOCTYPE html><html lang=\"en\" class=\"js-focus-visible lg:[--scroll-mt:9.5rem]\" data-js-focus-visible=\"\">...",
      "metadata": {
        "title": "Crea un 'chat con el sitio web' usando Groq Llama 3 | Firecrawl",
        "language": "en",
        "sourceURL": "https://docs.firecrawl.dev/learn/rag-llama3",
        "description": "Aprende a usar Firecrawl, Groq Llama 3 y LangChain para crear un bot de 'chat con tu sitio web'."
        "ogLocaleAlternate": [],
        "statusCode": 200
      }
    },
    ...
  ]
}

{
  "status": "completado",
  "total": 36,
  "completed": 36,
  "creditsUsed": 36,
  "expiresAt": "2024-00-00T00:00:00.000Z",
  "next": "https://api.firecrawl.dev/v2/crawl/123-456-789?skip=26",
  "data": [
    {
      "markdown": "[Página principal de la documentación de Firecrawl![logotipo claro](https://mintlify.s3-us-west-1.amazonaws.com/firecrawl/logo/light.svg)!...",
      "html": "<!DOCTYPE html><html lang=\"en\" class=\"js-focus-visible lg:[--scroll-mt:9.5rem]\" data-js-focus-visible=\"\">...",
      "metadata": {
        "title": "Crea un ‘chat con el sitio web’ usando Groq Llama 3 | Firecrawl",
        "language": "en",
        "sourceURL": "https://docs.firecrawl.dev/learn/rag-llama3",
        "description": "Aprende a usar Firecrawl, Groq Llama 3 y LangChain para crear un bot de ‘chat con tu sitio web’."
        "ogLocaleAlternate": [],
        "statusCode": 200
      }
    },
    ...
  ]
}

Métodos del SDK

Hay dos maneras de usar crawl con el SDK.

Rastrear y esperar

El método crawl espera a que el rastreo termine y devuelve la respuesta completa. Gestiona la paginación automáticamente. Esto se recomienda para la mayoría de los casos de uso.

from firecrawl import Firecrawl
from firecrawl.types import ScrapeOptions

firecrawl = Firecrawl(api_key="fc-YOUR_API_KEY")

# Rastrear un sitio web:
crawl_status = firecrawl.crawl(
  'https://firecrawl.dev', 
  limit=100, 
  scrape_options=ScrapeOptions(formats=['markdown', 'html']),
  poll_interval=30
)
print(crawl_status)

import { Firecrawl } from 'firecrawl';

const firecrawl = new Firecrawl({apiKey: "fc-YOUR_API_KEY"});

const crawlResponse = await firecrawl.crawl('https://firecrawl.dev', {
  limit: 100,
  scrapeOptions: {
    formats: ['markdown', 'html'],
  }
})

console.log(crawlResponse)

La respuesta incluye el estado del rastreo y todos los datos extraídos:

success=True
status='completed'
completed=100
total=100
creditsUsed=100
expiresAt=datetime.datetime(2025, 4, 23, 19, 21, 17, tzinfo=TzInfo(UTC))
next=None
data=[
  Document(
    markdown='[Día 7 - Semana de lanzamiento III. Día de integraciones (del 14 al 20 de abril)](...',
    metadata={
      'title': '15 proyectos de web scraping con Python: de principiante a avanzado',
      ...
      'scrapeId': '97dcf796-c09b-43c9-b4f7-868a7a5af722',
      'sourceURL': 'https://www.firecrawl.dev/blog/python-web-scraping-projects',
      'url': 'https://www.firecrawl.dev/blog/python-web-scraping-projects',
      'statusCode': 200
    }
  ),
  ...
]

{
  success: true,
  status: "completed",
  completed: 100,
  total: 100,
  creditsUsed: 100,
  expiresAt: "2025-04-23T19:28:45.000Z",
  data: [
    {
      markdown: "[Day 7 - Launch Week III.Integrations DayApril ...",
      html: `<!DOCTYPE html><html lang="en" class="light" style="color...`,
      metadata: [Object],
    },
    ...
  ]
}

Iniciar y luego verificar el estado

El método startCrawl / start_crawl devuelve de inmediato un ID de rastreo. Luego puedes verificar el estado manualmente. Esto es útil para rastreos de larga duración o lógica de sondeo personalizada.

from firecrawl import Firecrawl

firecrawl = Firecrawl(api_key="fc-YOUR-API-KEY")

job = firecrawl.start_crawl(url="https://docs.firecrawl.dev", limit=10)
print(job)

# Comprueba el estado del rastreo
status = firecrawl.get_crawl_status(job.id)
print(status)

import { Firecrawl } from 'firecrawl';

const firecrawl = new Firecrawl({ apiKey: "fc-YOUR-API-KEY" });

const { id } = await firecrawl.startCrawl('https://docs.firecrawl.dev', { limit: 10 });
console.log(id);

// Comprueba el estado del rastreo
const status = await firecrawl.getCrawlStatus(id);
console.log(status);

curl -s -X POST "https://api.firecrawl.dev/v2/crawl" \
  -H "Authorization: Bearer $FIRECRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://docs.firecrawl.dev",
    "limit": 10
  }'

# Iniciar rastreo (asíncrono, devuelve ID de trabajo inmediatamente)
firecrawl crawl https://firecrawl.dev --limit 100

# Then check status later
firecrawl crawl <job-id>

La respuesta inicial devuelve el ID del trabajo:

{
  "success": true,
  "id": "123-456-789",
  "url": "https://api.firecrawl.dev/v2/crawl/123-456-789"
}

Resultados en tiempo real con WebSocket

El método watcher proporciona actualizaciones en tiempo real a medida que se rastrean las páginas. Inicia un rastreo y luego suscríbete a los eventos para procesar los datos de inmediato.

import asyncio
from firecrawl import AsyncFirecrawl

async def main():
    firecrawl = AsyncFirecrawl(api_key="fc-YOUR-API-KEY")

    # Iniciar un rastreo primero
    started = await firecrawl.start_crawl("https://firecrawl.dev", limit=5)

    # Monitorear actualizaciones (snapshots) hasta estado terminal
    async for snapshot in firecrawl.watcher(started.id, kind="crawl", poll_interval=2, timeout=120):
        if snapshot.status == "completed":
            print("COMPLETADO", snapshot.status)
            for doc in snapshot.data:
                print("DOC", doc.metadata.source_url if doc.metadata else None)
        elif snapshot.status == "failed":
            print("ERROR", snapshot.status)
        else:
            print("ESTADO", snapshot.status, snapshot.completed, "/", snapshot.total)

asyncio.run(main())

import { Firecrawl } from 'firecrawl';

const firecrawl = new Firecrawl({ apiKey: 'fc-YOUR-API-KEY' });

// Inicia un rastreo y luego míralo
const { id } = await firecrawl.startCrawl('https://mendable.ai', {
  excludePaths: ['blog/*'],
  limit: 5,
});

const watcher = firecrawl.watcher(id, { kind: 'crawl', pollInterval: 2, timeout: 120 });

watcher.on('document', (doc) => {
  console.log('DOC', doc);
});

watcher.on('error', (err) => {
  console.error('ERR', err?.error || err);
});

watcher.on('done', (state) => {
  console.log('DONE', state.status);
});

// Comienza a mirar (WS con alternativa HTTP)
await watcher.start();

Webhooks

Puedes configurar webhooks para recibir notificaciones en tiempo real a medida que avanza el rastreo. Esto te permite procesar las páginas conforme se van extrayendo, en lugar de esperar a que finalice todo el rastreo.

cURL

curl -X POST https://api.firecrawl.dev/v2/crawl \
    -H 'Content-Type: application/json' \
    -H 'Authorization: Bearer YOUR_API_KEY' \
    -d '{
      "url": "https://docs.firecrawl.dev",
      "limit": 100,
      "webhook": {
        "url": "https://tu-dominio.com/webhook",
        "metadata": {
          "any_key": "any_value"
        },
        "events": ["started", "page", "completed"]
      }
    }'

Tipos de eventos

Evento	Descripción
`crawl.started`	Se emite cuando comienza el rastreo
`crawl.page`	Se emite por cada página extraída correctamente
`crawl.completed`	Se emite cuando finaliza el rastreo
`crawl.failed`	Se emite si el rastreo encuentra un error

Carga útil

{
  "success": true,
  "type": "crawl.page",
  "id": "crawl-job-id",
  "data": [...], // Datos de página para eventos 'page'
  "metadata": {}, // Your custom metadata
  "error": null
}

Verificación de firmas de webhooks

Cada solicitud de webhook de Firecrawl incluye un encabezado X-Firecrawl-Signature que contiene una firma HMAC-SHA256. Verifica siempre esta firma para asegurarte de que el webhook sea auténtico y no haya sido manipulado.

Obtén tu secreto de webhook en la pestaña Advanced de la configuración de tu cuenta
Extrae la firma del encabezado X-Firecrawl-Signature
Calcula el HMAC-SHA256 del cuerpo sin procesar (raw) de la solicitud usando tu secreto
Compárala con el encabezado de la firma usando una función segura frente a ataques de temporización

Nunca proceses un webhook sin verificar primero su firma. El encabezado X-Firecrawl-Signature contiene la firma en el formato: sha256=abc123def456...

Para ver ejemplos completos de implementación en JavaScript y Python, consulta la documentación de seguridad de webhooks. Para consultar la documentación completa sobre webhooks, incluidos payloads de eventos detallados, estructura de payloads, configuración avanzada y solución de problemas, consulta la documentación de webhooks.

Ejecución y contabilización de resultados

Un crawl que finaliza no es lo mismo que un crawl que ha llegado a todas las páginas. Esta sección describe qué informan actualmente los endpoints de crawl sobre una ejecución: los contadores, el contrato de paginación, los registros de fallos y los límites de alcance, para que puedas valorar por ti mismo si una ejecución está lo bastante completa como para actuar en consecuencia. Ninguno de estos registros garantiza que sea completo.

Lectura de los contadores de estado

Cada respuesta de Get Crawl Status (GET /v2/crawl/{id}) incluye los contadores que describen la ejecución:

Campo	Significado
`status`	Uno de `scraping`, `completed`, `failed` o `cancelled`
`total`	`completed` más las páginas aún en curso: activas, en cola y en el backlog. Las páginas fallidas no se cuentan.
`completed`	Número de páginas rastreadas correctamente
`creditsUsed`	Créditos consumidos por el crawl hasta el momento
`createdAt` / `completedAt` / `duration`	Hora de inicio, hora de finalización (solo en estados terminales) y segundos transcurridos
`expiresAt`	Momento en que los resultados dejan de poder recuperarse desde la API
`next`	URL de la siguiente página de resultados de 10 MB. También se emite siempre que `status` no sea `completed`; consulta Paginación de resultados.

Que completed == total en un crawl finalizado no significa que todas las páginas descubiertas se hayan procesado con éxito. Como total suma las páginas completadas, activas, en cola y en el backlog, y excluye las fallidas, un crawl en estado terminal siempre tiene active, queued y backlog en cero, de modo que ambos contadores convergen haya habido fallos o no. Los contadores de estado no permiten saber si algo falló. Las páginas fallidas solo se enumeran mediante Get Crawl Errors.

El array data contiene únicamente las páginas que Firecrawl extrajo correctamente. Las páginas que se intentaron pero nunca produjeron un resultado no aparecen en data: consúltalas en Get Crawl Errors, más abajo.

Paginar los resultados

Las respuestas tienen un límite de 10 MB. Cuando una respuesta se trunca, next contiene la URL de la siguiente página de resultados. next no es solo una señal de que «quedan más datos»: también se emite siempre que status no sea completed, por lo que un crawl en estado terminal failed o cancelled puede devolver una URL en next aunque no queden más resultados. No uses la ausencia de next como condición de salida del bucle: en un crawl fallido o cancelado nunca desaparece. La condición terminal es el campo de estado. Para leer una ejecución hasta el final:

Haz poll a GET /v2/crawl/{id} hasta que status sea completed, failed o cancelled.
Mientras next esté presente y la última página haya devuelto un array data no vacío, sigue next para recopilar los resultados restantes.
Detente cuando next no esté presente o cuando una página no devuelva documentos nuevos.

Los SDKs oficiales gestionan esta paginación por ti y devuelven todos los resultados de una vez.

Páginas fallidas y bloqueadas

Get Crawl Errors (GET /v2/crawl/{id}/errors) registra las páginas que no llegaron a data. Devuelve dos arrays:

errors — trabajos de scraping con error, cada uno con id, url, error (el mensaje de error) y un timestamp del fallo. Son páginas que Firecrawl no pudo extraer: errores de red, tiempos de espera agotados y similares. Los enlaces a la página de inicio de un sitio externo que se omitieron intencionalmente se informan aquí con el código de error EXTERNAL_LINK.
robotsBlocked — URL que se intentaron procesar, pero fueron bloqueadas por el robots.txt del sitio.

No se garantiza que esta lista sea una enumeración completa de todos los fallos: actualmente algunas clases de fallos internos se filtran de errors antes de construir la respuesta. Tómala como el registro de fallos que Firecrawl informa, no como una prueba de que no ocurrió nada más. El código de error mencionado arriba (EXTERNAL_LINK) se devuelve hoy en los objetos de error, pero aún no forma parte del schema publicado de GET /crawl/{id}/errors; está pendiente de una actualización de la referencia de la API.

Una página en la que el sitio objetivo devolvió un error HTTP como 404 no es un error de crawl: Firecrawl la extrajo correctamente, por lo que aparece en data con el código de estado del sitio en metadata.statusCode.

Hasta dónde puede llegar el rastreador

La cobertura está limitada por los parámetros de alcance que definas, todos documentados en la referencia de configuración y en la referencia del endpoint Crawl:

Solo rutas hijas de forma predeterminada. El crawl ignora los subenlaces que no son hijos de la URL que proporcionas. Usa crawlEntireDomain para rutas hermanas y superiores, allowSubdomains para subdominios y allowExternalLinks para seguir enlaces fuera del dominio.
includePaths / excludePaths se aplican al pathname de la URL, como patrones de expresión regular; no a la URL completa ni a los parámetros de consulta. Establece regexOnFullURL: true para que la coincidencia se haga contra la URL completa, incluidas las cadenas de consulta. La URL inicial también se compara con includePaths: si no coincide, el crawl puede devolver 0 páginas.
Modo sitemap. Con el valor predeterminado sitemap: "include", las URL provienen del sitemap y del descubrimiento recursivo de enlaces. "skip" usa únicamente los enlaces HTML, por lo que se omiten las páginas que solo están en el sitemap, como PDF o páginas muy anidadas. "only" rastrea el sitemap y la URL inicial, y no descubre enlaces a partir del HTML.
maxDiscoveryDepth limita cuántos saltos de descubrimiento de enlaces se siguen desde la raíz. Las páginas que están en la profundidad máxima sí se extraen, pero no se siguen los enlaces encontrados en ellas.
limit limita la cantidad de páginas y su valor predeterminado es 10000.
ignoreQueryParameters evita volver a extraer la misma ruta con distintos parámetros de consulta.
Se respeta robots.txt salvo que ignoreRobotsTxt esté habilitado (solo Enterprise).

maxConcurrency adopta de forma predeterminada el límite de concurrencia de tu equipo, definido por tu plan; consulta Límites de tasa.

Cuando los resultados varían entre ejecuciones

Los resultados del rastreo pueden variar entre ejecuciones con la misma configuración. Las páginas se extraen de forma concurrente, por lo que el orden en que se descubren los enlaces depende de la latencia de la red y de qué páginas terminan de cargarse primero. Esto significa que diferentes ramas de un sitio pueden explorarse en distinta medida cerca del límite de profundidad, especialmente con valores altos de maxDiscoveryDepth. Para que una ejecución sea más reproducible:

Establece maxConcurrency en 1. Como indica la referencia de configuración, maxConcurrency es el «número máximo de scrapes concurrentes»: limita cuántas solicitudes están en curso a la vez. Eso reduce el entrelazado dependiente de la latencia, pero no elimina la variación entre ejecuciones: el descubrimiento del sitemap se encola fuera de ese límite, los sitemaps anidados se obtienen como trabajos independientes y el array data devuelto se ordena por hora de finalización y no por orden de descubrimiento. Establecer delay también fuerza la concurrencia a 1.
Usa sitemap: "only" si el sitio tiene un sitemap completo, de modo que el conjunto de URL provenga del sitemap y no del descubrimiento de enlaces.

Cómo saber cuándo ha terminado un crawl

Si no estás haciendo polling, los webhook events te indican lo mismo: crawl.page se emite por cada página extraída correctamente, y crawl.completed (o crawl.failed) se emite cuando finaliza la ejecución. Los resultados del trabajo se pueden recuperar desde la API durante las 24 horas posteriores a su finalización; pasado ese plazo, consúltalos en los activity logs.

Referencia de configuración

El conjunto completo de parámetros disponibles al enviar un trabajo de rastreo:

Parámetro	Tipo	Predeterminado	Descripción
`url`	`string`	(obligatorio)	La URL inicial desde la que se realizará el rastreo
`limit`	`integer`	`10000`	Número máximo de páginas que se rastrearán
`maxDiscoveryDepth`	`integer`	(ninguno)	Profundidad máxima desde la URL raíz según los saltos de descubrimiento de enlaces, no la cantidad de segmentos `/` en la URL. Cada vez que se encuentra una nueva URL en una página, se le asigna una profundidad una unidad mayor que la de la página en la que fue descubierta. El sitio raíz y las páginas del sitemap tienen una profundidad de descubrimiento de 0. Las páginas en la profundidad máxima igualmente se extraen, pero no se siguen los enlaces que contienen.
`includePaths`	`string[]`	(ninguno)	Patrones regex de rutas de URL que se incluirán. Solo se rastrean las rutas que coinciden.
`excludePaths`	`string[]`	(ninguno)	Patrones regex de rutas de URL que se excluirán del rastreo
`regexOnFullURL`	`boolean`	`false`	Hace coincidir `includePaths`/`excludePaths` con la URL completa (incluidos los parámetros de consulta) en lugar de solo con la ruta
`crawlEntireDomain`	`boolean`	`false`	Sigue enlaces internos a URL del mismo nivel o superiores, no solo a rutas hijas
`allowSubdomains`	`boolean`	`false`	Sigue enlaces a subdominios del dominio principal
`allowExternalLinks`	`boolean`	`false`	Sigue enlaces a sitios web externos. Los enlaces externos se siguen un salto (no se rastrean sus propios enlaces), y se omiten los enlaces que apuntan a la página de inicio de un sitio externo — consulta Enlaces externos.
`sitemap`	`string`	`"include"`	Gestión del sitemap: `"include"` (predeterminado), `"skip"` o `"only"`
`ignoreQueryParameters`	`boolean`	`false`	Evita volver a extraer la misma ruta con distintos parámetros de consulta
`ignoreRobotsTxt`	`boolean`	`false`	Ignora las reglas de robots.txt del sitio web. Solo Enterprise — contacta con support@firecrawl.com para habilitarlo.
`robotsUserAgent`	`string`	(ninguno)	Cadena User-Agent personalizada para evaluar robots.txt. Cuando se establece, robots.txt se obtiene con este User-Agent y las reglas se comparan con él en lugar del predeterminado. Solo Enterprise — contacta con support@firecrawl.com para habilitarlo.
`delay`	`number`	(ninguno)	Retraso en segundos entre extracciones para respetar los límites de tasa. Establecer esto fuerza la concurrencia a 1.
`maxConcurrency`	`integer`	(ninguno)	Número máximo de extracciones concurrentes. De forma predeterminada, usa el límite de concurrencia de tu equipo.
`scrapeOptions`	`object`	(ninguno)	Opciones aplicadas a cada página extraída (formatos, proxy, caché, acciones, etc.)
`webhook`	`object`	(ninguno)	Configuración del webhook para notificaciones en tiempo real
`prompt`	`string`	(ninguno)	Prompt en lenguaje natural para generar opciones de rastreo. Los parámetros establecidos explícitamente anulan los equivalentes generados.

Detalles importantes

De forma predeterminada, el rastreo ignora los subenlaces que no son descendientes de la URL que proporcionas. Por ejemplo, website.com/other-parent/blog-1 no se devolvería si hicieras rastreo de website.com/blogs/. Usa el parámetro crawlEntireDomain para incluir rutas hermanas y superiores. Para hacer rastreo de subdominios como blog.website.com al hacer rastreo de website.com, usa el parámetro allowSubdomains.

Descubrimiento del sitemap: De forma predeterminada, el rastreador incluye el sitemap del sitio web para descubrir URL (sitemap: "include"). Si estableces sitemap: "skip", solo se encontrarán las páginas accesibles mediante enlaces HTML desde la URL raíz. Recursos como PDF o páginas muy anidadas incluidas en el sitemap, pero no enlazadas directamente desde el HTML, no se encontrarán. Para obtener la máxima cobertura, mantén la configuración predeterminada.
Uso de créditos: Cada página rastreada cuesta 1 crédito. El modo JSON añade 4 créditos por página y el análisis de PDF cuesta 1 crédito por cada página del PDF.
Expiración de resultados: Los resultados del trabajo están disponibles a través de la API durante 24 horas después de completarse. Después de ese plazo, consulta los resultados en los activity logs.
Errores de rastreo: El array data contiene las páginas que Firecrawl extrajo correctamente. Usa el endpoint Get Crawl Errors para recuperar las páginas que fallaron debido a errores de red, tiempos de espera o bloqueos de robots.txt.
Enlaces externos: Con allowExternalLinks: true, el rastreador sigue los enlaces que apuntan fuera de tu dominio y scrapea cada página enlazada una vez; después no rastrea los enlaces encontrados en esas páginas externas. Los enlaces a la página de inicio de un sitio externo (una URL raíz sin ruta, por ejemplo, https://example.com/) se omiten intencionadamente para evitar incluir un sitio no relacionado completo; estos aparecen en Get Crawl Errors con el código EXTERNAL_LINK. Se siguen las redirecciones hasta su destino, incluido un enlace que se resuelve en su URL canónica (por ejemplo, http → https o la variante www), por lo que solo se omiten las redirecciones que llegan a una página de inicio externa.
Resultados no deterministas: Los resultados del rastreo pueden variar entre ejecuciones con la misma configuración, porque las páginas se extraen de forma concurrente y el orden de descubrimiento de enlaces depende de la latencia de la red. Consulta Ejecución y contabilización de resultados para saber qué varía y cómo hacer que una ejecución sea más reproducible.

¿Eres un agente de IA que necesita una clave de API de Firecrawl? Consulta firecrawl.dev/agent-onboarding/SKILL.md para obtener instrucciones de incorporación automatizada.

Primeros pasos

Endpoints principales

Más

Inicios rápidos

Guías para desarrolladores

Webhooks

Casos de uso

Otros

Contribuciones

Pruébalo en el Playground

Instalación

Uso básico

Opciones de scraping

Verificar el estado del rastreo

Manejo de respuestas

Métodos del SDK

Rastrear y esperar

Iniciar y luego verificar el estado

Resultados en tiempo real con WebSocket

Webhooks

Tipos de eventos

Carga útil

Verificación de firmas de webhooks

Ejecución y contabilización de resultados

Lectura de los contadores de estado

Paginar los resultados

Páginas fallidas y bloqueadas

Hasta dónde puede llegar el rastreador

Cuando los resultados varían entre ejecuciones

Cómo saber cuándo ha terminado un crawl

Referencia de configuración

Detalles importantes

Pruébalo en el Playground

​Instalación

​Uso básico

​Opciones de scraping

​Verificar el estado del rastreo

​Manejo de respuestas

​Métodos del SDK

​Rastrear y esperar

​Iniciar y luego verificar el estado

​Resultados en tiempo real con WebSocket

​Webhooks

​Tipos de eventos

​Carga útil

​Verificación de firmas de webhooks

​Ejecución y contabilización de resultados

​Lectura de los contadores de estado

​Paginar los resultados

​Páginas fallidas y bloqueadas

​Hasta dónde puede llegar el rastreador

​Cuando los resultados varían entre ejecuciones

​Cómo saber cuándo ha terminado un crawl

​Referencia de configuración

​Detalles importantes

Instalación

Uso básico

Opciones de scraping

Verificar el estado del rastreo

Manejo de respuestas

Métodos del SDK

Rastrear y esperar

Iniciar y luego verificar el estado

Resultados en tiempo real con WebSocket

Webhooks

Tipos de eventos

Carga útil

Verificación de firmas de webhooks

Ejecución y contabilización de resultados

Lectura de los contadores de estado

Paginar los resultados

Páginas fallidas y bloqueadas

Hasta dónde puede llegar el rastreador

Cuando los resultados varían entre ejecuciones

Cómo saber cuándo ha terminado un crawl

Referencia de configuración

Detalles importantes