Ejemplos de funciones de parsing

Ejemplos prácticos de funciones de Custom Parser para procesamiento HTML, manipulación de cadenas, operaciones matemáticas y tareas comunes de parsing.

Procesamiento de HTML

`element_text`

HTML de ejemplo

<!DOCTYPE html>
<html>
<body>
    <div id="product">
        <div id="product-description">Este es un producto bonito</div>
        <div id="product-price">    12  3


        </div>
    </div>
</body>
</html>

Extraer texto del elemento HTML y eliminar espacios en blanco

{
    "price": {
        "_fns": [
            {
                "_fn": "xpath_one",
                "_args": [".//*[@id='product-price']"]
            },
            {
                "_fn": "element_text"
            }
        ]
    }
}

{
    "price": "12  3"
}

Dado un valor de cadena como entrada, no hacer nada

{
    "price": {
        "_fns": [
            {
                "_fn": "xpath_one",
                "_args": [".//*[@id='product-price']/text()"]
            },
            {
                "_fn": "element_text"
            }
        ]
    }
}

{
    "price": "    12  3\n\n\n        "
}

`xpath`

HTML de ejemplo

<body>
    <div class="product" id="socks">
        <div class="title">Calcetines</div>
        <div class="price">123.12</div>
        <div class="description">
            <ul>
                <li class="description-item">Muy</li>
                <li class="description-item">Bonitos</li>
                <li class="description-item">Calcetines</li>
            </ul>
        </div>
    </div>
</body>

Obtener todos los elementos de la descripción

{
    "description_items": {
        "_fns": [
            {
                "_fn": "xpath",
                "_args": ["//li[@class='description-item']/text()"]
            }
        ]
    }
}

{
    "description_items": ["Muy", "Bonitos", "Calcetines"]
}

Obtener el primer elemento de la descripción

{
    "first_description_item": {
        "_fns": [
            {
                "_fn": "xpath",
                "_args": ["(//li[@class='description-item'])[1]/text()"]
            }
        ]
    }
}

{
    "first_description_item": [
        "Muy"
    ]
}

Comprobar si existe el elemento de la sección de descripción

{
    "description_section_exists": {
        "_fns": [
            {
                "_fn": "xpath",
                "_args": ["boolean(//div[@class='description'])"]
            }
        ]
    }
}

{
    "description_section_exists": true
}

Obtener el precio como número

{
    "price": {
        "_fns": [
            {
                "_fn": "xpath",
                "_args": ["number(//div[@class='price'])"]
            }
        ]
    }
}

{
    "description_section_exists": 123.12
}

Múltiples expresiones a las que recurrir en caso de que falle la expresión anterior

{
    "price": {
        "_fns": [
            {
                "_fn": "xpath",
                "_args": [
                    "//div[@class='product-price']/text()", <--- esto no encuentra nada
                    "//div[@class='price']/text()" <--- esto encuentra el precio objetivo
                ]
            }
        ]
    }
}

{
    "price": [
        "123.12"
    ]
}

XPath | operador para coincidir con múltiples expresiones

{
    "price_and_title": {
        "_fns": [
            {
                "_fn": "xpath",
                "_args": ["//div[@class='price']/text() | //div[@class='title']/text()"]
            }
        ]
    }
}

{
    "price_and_title": [
        "Calcetines",
        "123.12"
    ]
}

`xpath_one`

HTML de ejemplo

<body>
    <div class="product" id="socks">
        <div class="title">Calcetines</div>
        <div class="price">123.12</div>
        <div class="description">
            <ul>
                <li class="description-item">Muy</li>
                <li class="description-item">Bonitos</li>
                <li class="description-item">Calcetines</li>
            </ul>
        </div>
    </div>
</body>

Devolver la primera coincidencia

{
    "first_description_item": {
        "_fns": [
            {
                "_fn": "xpath_one",
                "_args": [".//li/text()"]
            }
        ]
    }
}

{
    "first_description_item": "Muy"
}

Usando funciones XSLT

{
    "price": {
        "_fns": [
            {
                "_fn": "xpath_one",
                "_args": ["number(.//div[@class='price'])"]
            }
        ]
    }
}

{
    "price": 123.12
}

Manipulación de cadenas

`amount_from_string`

HTML de ejemplo

<body>
    <div class="product" id="socks">
        <div class="title">Calcetines</div>
        <div class="price">El precio es: 123.12 pesos</div>
    </div>
</body>

Extraer cantidad de una cadena

{
    "price": {
        "_fns": [
            {
                "_fn": "xpath_one",
                "_args": [".//div[@class='price']/text()"]
            },
            {
                "_fn": "amount_from_string"
            }
        ]
    }
}

{
    "price": 123.12
}

`amount_range_from_string`

HTML de ejemplo

<body>
    <div class="product">
        <div class="price">
            El precio es: 123.12 pesos;
            El precio es: 345.12 pesos;
            El precio es: 678.12 pesos
        </div>
    </div>
</body>

Extraer todas las cantidades de una cadena

{
    "prices": {
        "_fns": [
            {
                "_fn": "xpath_one",
                "_args": [".//div[@class='price']/text()"]
            },
            {
                "_fn": "amount_range_from_string"
            }
        ]
    }
}

{    
    "prices": [
        123.12,
        345.12,
        678.12
    ]
}

`join`

HTML de ejemplo

<body>
    <div class="product">
        <div class="price">
            El precio es: 123.12 pesos;
        </div>
        <div class="price">
            El precio es: 345.12 pesos;
        </div>
        <div class="price">
            El precio es: 678.12 pesos
        </div>
    </div>
</body>

Unir un array de cadenas en una sola cadena

{
    "price_variants": {
        "_fns": [
            {
                "_fn": "xpath",
                "_args": [".//div[@class='price']"]
            },
            {  // Si llamamos a normalize-space() en la primera función de la tubería, 
               // devolverá solo el primer valor.
                "_fn": "xpath",
                "_args": ["normalize-space(text())"]
            },  
            {
                "_fn": "join",
                "_args": ""
            }
        ]
    }
}

{
    "price_variants": "El precio es: 123.12 pesos;El precio es: 345.12 pesos;El precio es: 678.12 pesos"
}

`regex_find_all`

HTML de ejemplo

<body>
    <div class="product">
        <div class="description">
            [una descripción]
            [dos descripciones]
            [tres descripciones]
        </div>
    </div>
</body>

Encontrar todas las coincidencias entre dos caracteres

{
    "descriptions": {
        "_fns": [
            {
                "_fn": "xpath_one",
                "_args": [".//div[@class='description']/text()"]
            },
            {
                "_fn": "regex_find_all",
                "_args": ["\\[(.*)\\]"]
            }
        ]
    }
}

{
    "descriptions": [
        "una descripción",
        "dos descripciones",
        "tres descripciones"
    ]
}

`regex_search`

HTML de ejemplo

<body>
    <div class="product">
        <div class="description">
            [una descripción]
            [dos descripciones]
            [tres descripciones]
            {la que necesito}
        </div>
    </div>
</body>

Devolver la descripción entre dos caracteres

{
    "description": {
        "_fns": [
            {
                "_fn": "xpath_one",
                "_args": [".//div[@class='description']/text()"]
            },
            {
                "_fn": "regex_search",
                "_args": ["{(.*)}", 1]
            }
        ]
    }
}

{
    "description": "la que necesito"
}

`regex_substring`

HTML de ejemplo

<body>
    <div class="product">
        <div class="description">
            * una descripción
            * dos descripciones
            * tres descripciones
            * {esta que me gustaría que se reemplazara}
        </div>
    </div>
</body>

Reemplazar una parte del texto con el valor especificado

{
    "descriptions": {
        "_fns": [
            {
                "_fn": "xpath_one",
                "_args": [".//div[@class='description']/text()"]
            },
            {
                "_fn": "regex_substring",
                "_args": ["{esta que me gustaría que se reemplazara}", "cuatro descripciones"]
            },
            {
                "_fn": "regex_find_all",
                "_args": ["\\*\\s(.*)\n"]
            }
        ]
    }
}

{
    "descriptions": [
        "una descripción",
        "dos descripciones",
        "tres descripciones",
        "cuatro descripciones"
    ]
}

Funciones comunes

`convert_to_*`

HTML de ejemplo

<body>
    <div class="product">
        <div class="price">123</div>
        <div class="price">124</div>
        <div class="price">456</div>
        <div class="price">421</div>
        <div class="price">100</div>
    </div>
</body>

Obtener el recuento de variantes de precio

{
    "price_variants": {
        "_fns": [
            {
                "_fn": "xpath",
                "_args": [".//div[@class='price']"]
            },
            {
                "_fn": "length"
            }
        ]
    }
}

{
    "price_variants": 5
}

Obtener el recuento de variantes de precio en un array multidimensional

HTML de ejemplo:

<body>
    <div class="product">
        <property class="colors">
            <option class="color">Rojo</option>
            <option class="color">Verde</option>
            <option class="color">Azul</option>
        </property>
        <property class="sizes">
            <option class="size">S</option>
            <option class="size">M</option>
            <option class="size">L</option>
            <option class="size">XL</option>
        </property>
    </div>
</body>

{
    "number_of_variants": {
        "_fns": [
            {
                "_fn": "xpath",
                "_args": [".//property"]
            },
            {
                "_fn": "xpath",
                "_args": [".//option"]
            },
            {
                "_fn": "length"
            }
        ]
    }
}

{
    "number_of_variants": [
        3,
        3
    ]
}

`select_nth`

HTML de ejemplo

<body>
    <div class="product" id="socks">
        <div class="title">Calcetines</div>
        <div class="price">123.12</div>
        <div class="description">
            <ul>
                <li class="description-item">Muy</li>
                <li class="description-item">Bonitos</li>
                <li class="description-item">Calcetines</li>
            </ul>
        </div>
    </div>
</body>

Seleccionar el primer elemento de la descripción del array

{
    "price_and_title": {
        "_fns": [
            {
                "_fn": "xpath",
                "_args": ["//li[@class='description-item']/text()"]
            },
            {
                "_fn": "select_nth",
                "_args": 0
            }
        ]
    }
}

{
    "price_and_title": "Muy"
}

Seleccionar el último elemento de la descripción del array

{
    "price_and_title": {
        "_fns": [
            {
                "_fn": "xpath",
                "_args": ["//li[@class='description-item']/text()"]
            },
            {
                "_fn": "select_nth",
                "_args": -1
            }
        ]
    }
}

{
    "price_and_title": "Calcetines"
}

Funciones matemáticas

`average`

HTML de ejemplo

<body>
    <div class="product">
        <div class="price">123</div>
        <div class="price">124</div>
        <div class="price">456</div>
        <div class="price">421</div>
        <div class="price">100</div>
    </div>
</body>

Encontrar el promedio de todos los precios listados

{
    "price_average": {
        "_fns": [
            {
                "_fn": "xpath",
                "_args": [".//div[@class='price']"]
            },
            {
                "_fn": "xpath_one",
                "_args": ["number(text())"]
            },
            {
                "_fn": "average"
            }
        ]
    }
}

{
    "price_average": 244.8
}

`max`

HTML de ejemplo

<body>
    <div class="product">
        <div class="price">123</div>
        <div class="price">124</div>
        <div class="price">456</div>
        <div class="price">421</div>
        <div class="price">100</div>
    </div>
</body>

Encontrar el máximo de todos los precios listados

{
    "price_max": {
        "_fns": [
            {
                "_fn": "xpath",
                "_args": [".//div[@class='price']"]
            },
            {
                "_fn": "xpath_one",
                "_args": ["number(text())"]
            },
            {
                "_fn": "max"
            }
        ]
    }
}

{
    "price_max": 456.0
}

`min`

HTML de ejemplo

<body>
    <div class="product">
        <div class="price">123</div>
        <div class="price">124</div>
        <div class="price">456</div>
        <div class="price">421</div>
        <div class="price">100</div>
    </div>
</body>

Encontrar el promedio de todos los precios listados

{
    "price_min": {
        "_fns": [
            {
                "_fn": "xpath",
                "_args": [".//div[@class='price']"]
            },
            {
                "_fn": "xpath_one",
                "_args": ["number(text())"]
            },
            {
                "_fn": "min"
            }
        ]
    }
}

{
    "price_min": 100.0
}

`product`

HTML de ejemplo

<body>
    <div class="product">
        <property class="colors">
            <option class="color">Rojo</option>
            <option class="color">Verde</option>
            <option class="color">Azul</option>
        </property>
        <property class="sizes">
            <option class="size">S</option>
            <option class="size">M</option>
            <option class="size">L</option>
            <option class="size">XL</option>
        </property>
    </div>
</body>

Obtener el recuento de diferentes variantes de producto

{
    "number_of_variants": {
        "_fns": [
            {
                "_fn": "xpath",
                "_args": [".//property"]
            },
            {
                "_fn": "xpath",
                "_args": [".//option"]
            },
            {
                "_fn": "length"
            },
            {
                "_fn": "product"
            }
        ]
    }
}

{
    "number_of_variants": 12
}

AnteriorLista de funciones de parsing SiguienteProcesamiento y almacenamiento de resultados

¿Te fue útil?