Formación de URLs

Aprende a construir URLs para objetivos de Web Scraper API como Baidu, Yandex y Wayfair. Domina el encodeo de URLs, paginación y más.

Siguiendo estas directrices, puede construir URL para Baidu, Yandex o Wayfair para sus tareas de scraping web.

Baidu

Asignación de parámetros del trabajo a la URL:

https://<subdomain>.baidu.<domain>/s?ie=utf-8&wd=<query>&rn=<limit>&pn=<calculated_start_page>

Al formar las URL, siga estas instrucciones:

1. Codificación de términos de búsqueda: Los términos de búsqueda deben estar codificados en la URL. Por ejemplo, los espacios deben reemplazarse por %20, que representa un carácter de espacio en una URL.

2. Cálculo de la página de inicio: El start_page parámetro ahora corresponde al número de resultados de búsqueda a omitir. Use la ecuación limit*start_page-limit para calcular el valor.

3. Asignación de subdominio: El valor del subdominio depende del tipo de User-Agent proporcionado en el trabajo. Si el tipo de User-Agent contiene mobile, el valor del subdominio debe ser m. De lo contrario, debe ser www.

4. Parámetro de consulta: Dependiendo del valor del subdominio (m o www), el parámetro de consulta para el término de búsqueda debe ajustarse en consecuencia (word para m y wd para www).

URLs de ejemplo construidas

Para móvil:

https://m.baidu.com/s?ie=utf-8&word=test&rn=10&pn=20

Para escritorio:

https://www.baidu.cn/s?ie=utf-8&wd=test%20query&rn=13

Ejemplos de trabajos equivalentes

Fuera de servicio baidu_search origen:

{
    "source": "baidu_search",
    "query": "test",
    "domain": "com",
    "limit": 5,
    "start_page": 3,
    "user_agent_type": "desktop"
}

Actualizado fuente universal origen:

{
    "source": "universal",
    "url": "https://www.baidu.com/s?ie=utf-8&wd=test&rn=5&pn=10",
    "user_agent_type": "desktop"
}

Yandex

Asignación de parámetros del trabajo a la URL:

https://yandex.<domain>/search/?text=<query>&numdoc=<limit>&p=<start_page>&lr=<geo_location>

Al formar las URL, siga estas instrucciones:

1. Codificación de términos de búsqueda: Los términos de búsqueda deben codificarse en la URL. Por ejemplo, los espacios deben reemplazarse por %20, que representa un carácter de espacio en una URL.

2. Ajuste de la página de inicio: El valor de la start_page tiene que reducirse en 1. Por ejemplo, si la página de inicio deseada es 3, entonces el valor en la URL, que representa el número de página, tiene que ser 2.

3. Localización: Si el dominio es cualquiera de ru o tr, se agrega un parámetro de consulta adicional lr con el valor geo_location . Para otros dominios, el valor de geo_location está bajo el parámetro de consulta rstr, donde se añade un símbolo - antes del valor.

4. No compatible: el parámetro pages ya no es compatible. Los trabajos deben enviarse por separado cambiando el valor de la página actual en la URL.

Ejemplos de URL construidas

https://yandex.ru/search/?text=test&numdoc=5&p=0&lr=100

https://yandex.com/search/?text=test%201&numdoc=10&p=2&rstr=-100

Ejemplo de trabajo equivalente

Fuera de servicio yandex_search origen:

{
    "source": "yandex_search",
    "query": "test",
    "domain": "com",
    "limit": 5,
    "start_page": 3,
    "geo_location": 100,
    "results_language": "en"
}

Actualizado fuente universal origen:

{
    "source": "universal",
    "url": "https://yandex.ru/search?text=adidas&numdoc=5&p=2&lr=100&lang=en"
}

Wayfair

Asignación de parámetros del trabajo a la URL:

https://www.wayfair.<domain>/keyword.php?keyword=<query>&itemsperpage=<limit>&curpage=<start_page>

Al formar las URL, siga estas instrucciones:

1. Codificación de términos de búsqueda: los términos de búsqueda deben estar codificados en la URL. Por ejemplo, los espacios deben reemplazarse por %20, que representa un carácter de espacio en una URL.

2. Parámetros: Si limit es igual a 48 y start_page es igual a 1, entonces los siguientes parámetros adicionales deben añadirse a la URL:

   1. command=dosearch

   2. new_keyword_search=true

Ejemplos de URL construidas

https://www.wayfair.com/keyword.php?keyword=test&itemsperpage=24&curpage=1

https://www.wayfair.fr/keyword.php?keyword=t%202&itemsperpage=48&curpage=1&command=dosearch&new_keyword_search=true

Ejemplo de trabajo equivalente

Fuera de servicio wayfair_search origen:

{
   "source": "wayfair_search",
   "query": "test",
   "domain": "com",
   "limit": 5,
   "start_page": 3
}

Actualizado fuente universal origen:

{
   "source": "universal",
   "url": "https://www.wayfair.com/keyword.php?keyword=room&itemsperpage=5&curpage=10"
}