如何使用自定义解析器
介绍
如需使用自定义解析器，请在创建作业时提供一组parsing_instructions。
比如，您想解析在Bing搜索中搜索测试所得出总结果的数量：
一个作业参数的示例如下：
Copy {
"source" : "bing_search" ,
"query" : "test" ,
"parse" : true ,
"parsing_instructions" : {
"number_of_results" : {
"_fns" : [
{
"_fn" : "xpath_one" ,
"_args" : [ ".//span[@class='sb_count']/text()" ]
}
]
}
}
} 第1步. 您必须提供"parse": true参数。
第2步. 解析指令应在"parsing_instructions"字段中进行描述。
上述解析说明样本指定的目的是解析抓取文档中的搜索结果数量，并将结果放在number_of_results字段中。关于如何通过定义“pipeline”来解析字段的指令如下：
Copy "_fns" : [
{
"_fn" : "xpath_one" ,
"_args" : [ ".//span[@class='sb_count']/text()" ]
}
] 管线是指一个要执行的数据处理函数的列表。这些函数将按照它们在列表中出现的顺序执行，并将前一个函数的输出作为输入。
在上面的示例管线中，使用了xpath_one函数（可用函数的完整列表 .//span[@class='sb_count']。您也可以指示解析器选择在目标元素中发现的text()。
上述样本作业的解析结果应如下所示：
Copy {
"results" : [
{
"content" : {
"number_of_results" : "About 35.700.000.000 results" ,
"parse_status_code" : 12000
} ,
"created_at" : "2023-03-24 08:27:16" ,
"internal" : [] ,
"job_id" : "7044947765926856705" ,
"page" : 1 ,
"parser_type" : "" ,
"status_code" : 200 ,
"updated_at" : "2023-03-24 08:27:21" ,
"url" : "https://www.bing.com/search?form=QBLH&q=test"
}
]
} 自定义解析器不仅提供了从抓取的HTML中提取文本的功能，而且还可以执行基本的数据处理功能。
例如，前文中描述的解析指令在提取number_of_results为文本的同时会带有您可能不需要的额外关键词。如果您想得到数字数据类型的指定query=test结果数量，则您可以重复使用相同的解析指令，并在现有的管线中添加amount_from_string函数：
Copy {
"source" : "bing_search" ,
"query" : "test" ,
"parse" : true ,
"parsing_instructions" : {
"number_of_results" : {
"_fns" : [
{
"_fn" : "xpath_one" ,
"_args" : [ ".//span[@class='sb_count']/text()" ]
} ,
{
"_fn" : "amount_from_string"
}
]
}
}
} 上述样本作业的解析结果应如下所示：
Copy {
"results" : [
{
"content" : {
"number_of_results" : 2190000000 ,
"parse_status_code" : 12000
} ,
"created_at" : "2023-03-24 08:52:21" ,
"internal" : [] ,
"job_id" : "7044954079138679809" ,
"page" : 1 ,
"parser_type" : "" ,
"status_code" : 200 ,
"updated_at" : "2023-03-24 08:52:25" ,
"url" : "https://www.bing.com/search?form=QBLH&q=test"
}
]
} 我们可以看到，它已准确地解析了该文件：
编写XPath表达式的技巧
抓取的文件和浏览器加载的文件之间的HTML结构可能不同
在编写HTML元素选择函数时，要确保使用抓取的文件，而不是浏览器上加载的实时网站版本，因为这些文件可能有所不同。这个问题背后的主要原因在于JavaScript的渲染。当一个网站被打开时，您的浏览器负责加载额外的文件，如CSS样式表和JavaScript脚本，它们可以改变初始HTML文件的结构。当解析抓取的HTML时，自定义解析器并不像浏览器那样加载HTML文档（解析器忽略了JavaScript指令），因此HTML树在解析器和浏览器呈现的内容可能有所不同。
如下所示，请查看下列HTML文档：
Copy <! doctype html >
< html lang = "en" >
< head >
< meta charset = "UTF-8" >
< title >Document</ title >
</ head >
< body >
< div >
< h3 >This is a product</ h3 >
< div id = "price-container" >
< p >This is the price:</ p >
</ div >
< p >And here is some description</ p >
</ div >
< script >
const priceContainer = document .querySelector ( "#price-container" );
const priceElement = document .createElement ( "p" );
priceElement .textContent = "123" ;
priceElement .id = "price"
priceContainer .insertAdjacentElement ( "beforeend" , priceElement);
</ script >
</ body >
</ html > 如果您通过浏览器打开文档，则它将显示出您可以使用以下XPath表达式选择的价格 //p[@id="price"]：
现在，如果您在浏览器中禁用了JavaScript渲染，则网站将呈现如下结果：
同样的//p[@id="price"]XPath表达式将不再匹配价格，因为其未经渲染。
确保为目标元素编写所有可能的HTML选择器
由于各种原因，同一个页面被抓取两次可能会有不同的布局（抓取时使用的用户代理不同，目标网站做A/B测试等等）。
为了解决这个问题，我们建议为最初抓取的文档定义 parsing_instructions， 并立即用相同页面类型的其他多个抓取作业结果测试这些指令。
HTML选择器函数支持(xpath/xpath_one)选择器回退
建议的HTML选择器编写流程
禁用JavaScript，在您的浏览器上本地打开抓取的HTML。如果在打开HTML后 禁用了JavaScript，请务必重新加载页面，以便在没有JavaScript的情况下重新加载HTML。
如何编写解析指令
假设您有以下页面需要解析：
Copy `<! doctype html >
< html lang = "en" >
< head ></ head >
< body >
< style >
.variant {
display : flex ;
flex-wrap : nowrap ;
}
.variant p {
white-space : nowrap ;
margin-right : 20 px ;
}
</ style >
< div >
< h1 id = "title" >This is a cool product</ h1 >
< div id = "description-container" >
< h2 >This is a product description</ h2 >
< ul >
< li class = "description-item" >Durable</ li >
< li class = "description-item" >Nice</ li >
< li class = "description-item" >Sweet</ li >
< li class = "description-item" >Spicy</ li >
</ ul >
</ div >
< div id = "price-container" >
< h2 >Variants</ h2 >
< div id = "variants" >
< div class = "variant" >
< p class = "color" >Red</ p >
< p class = "price" >99.99</ p >
</ div >
< div class = "variant" >
< p class = "color" >Green</ p >
< p class = "price" >87.99</ p >
</ div >
< div class = "variant" >
< p class = "color" >Blue</ p >
< p class = "price" >65.99</ p >
</ div >
< div class = "variant" >
< p class = "color" >Black</ p >
< p class = "price" >99.99</ p >
</ div >
</ div >
</ div >
</ div >
</ body >
</ html > 解析产品标题
创建一个新的JSON对象并给它分配一个新的字段。
您可以用任何喜欢的方式来命名这个字段，但有一些例外（用户定义的字段名不能以下划线_开头，例如"_title"）。
字段名将显示在解析的结果中。
新字段必须拥有一个JSON对象类型值：
Copy {
"title" : {} // defining a title field to be parsed
} 如果您向自定义解析器提供这些指令，它不会执行任何操作，或者发送一个投诉表示您没有提供任何指令。
为了真正将标题解析到标题段中，则您必须在标题对象内部使用保留的_fns属性（其始终为数组类型）定义一个数据处理管线：
Copy {
"title" : {
"_fns" : [] // defining data processing pipeline for the title field
}
} 对于由自定义解析器选择标题的文本，您可以利用HTML选择器函数xpath_one。如需在HTML文档上使用该函数，则应将其添加到数据处理管线中。该函数被定义为一个JSON对象，具有必要的_fn（函数名称）和必要的_args（函数参数）字段。在此
Copy {
"title" : {
"_fns" : [
{
"_fn" : "xpath_one" ,
"_args" : [ "//h1/text()" ]
}
]
}
} 上述的解析指令应该得出以下结果：
Copy {
"title" : "This is a cool product"
} 解析描述
同样，在解析指令中，您可以定义另一个字段，需要进行解析的产品描述容器、描述标题和项目。如果标题和项目的描述要嵌套在description对象下，则指令的结构应该如下：
Copy {
"title" : {...} ,
"description" : { // description container
"title" : {} , // description title
"items" : {} // description items
}
} 给定的解析指令结构意味着description.title和description.items将根据description的元素进行解析。您可以为描述字段定义一个管线。在这种情况下，它会被优先完成，因为它将简化对标题描述的XPath表达式。
Copy {
"title" : {...} ,
"description" : {
"_fns" : [
{
"_fn" : "xpath_one" ,
"_args" : [ "//div[@id='description-container']" ]
}
] , // Pipeline result will be used when parsing `title` and `items`.
"title" : {} ,
"items" : {}
}
} 在这个示例中，description._fns管线将选择description-containerHTML元素，并将被用作解析描述标题和项目的参考点。
为了解析其余的描述字段，须为字段description.items和description.title添加两个不同的管线：
Copy {
"title" : {...} ,
"description" : {
"_fns" : [
{
"_fn" : "xpath_one" ,
"_args" : [
"//div[@id='description-container']"
]
}
] ,
"title" : {
"_fns" : [
{
"_fn" : "xpath_one" ,
"_args" : [
"//h2/text()"
]
}
]
} ,
"items" : {
"_fns" : [
{
"_fn" : "xpath" ,
"_args" : [
"//li/text()"
]
}
]
}
}
}
请注意xpath函数的使用方法，而不是xpath_one来提取符合XPath表达式的所有项目。
解析指令产生的结果如下：
Copy {
"title" : {...} ,
"description" : {
"title" : "This is description about the product" ,
"items" : [
"Durable" ,
"Nice" ,
"Sweet" ,
"Spicy"
]
}
} 解析产品变体
下面的示例中显示了如果您想把信息解析到product_variants字段中的指令结构，其将包含一个变体对象的列表。在这种情况下，其变体对象拥有价格和颜色字段。
Copy {
"title" : {...} ,
"description" : {...} ,
"product_variants" : [
{
"price" : ... ,
"color" : ...
} ,
{
...
} ,
...
]
} 首先选择所有的产品变体元素：
Copy {
"title" : {...} ,
"description" : {...} ,
"product_variants" : {
"_fns" : [
{
"_fn" : "xpath" ,
"_args" : [ "//div[@class='variant']" ]
}
]
}
} 为了使product_variants成为一个包含JSON对象的列表，您将不得不使用_items迭代器来迭代找到变体：
Copy {
"title" : {...} ,
"description" : {...} ,
"product_variants" : {
"_fns" : [
{
"_fn" : "xpath" ,
"_args" : [ "//div[@class='variant']" ]
}
] ,
"_items" : { // with this, you are instructing to process found elements one by one
// field instructions to be described here
}
}
} 最后，定义关于如何解析颜色和价格字段的说明：
Copy {
"title" : {...} ,
"description" : {...} ,
"product_variants" : {
"_fns" : [
{
"_fn" : "xpath" ,
"_args" : [
"//div[@class='variant']"
]
}
] ,
"_items" : {
"color" : {
"_fns" : [
{
"_fn" : "xpath_one" ,
"_args" : [
// As we are using relative XPath expressions,
// make sure XPath starts with a dot (.)
".//p[@class='color']/text()"
]
}
]
} ,
"price" : {
"_fns" : [
{
"_fn" : "xpath_one" ,
"_args" : [
".//p[@class='price']/text()"
]
}
]
}
}
}
} 有了product_variants的描述，其最终的指令将如下：
Copy {
"title" : {
"_fns" : [
{
"_fn" : "xpath_one" ,
"_args" : [
"//h1/text()"
]
}
]
} ,
"description" : {
"_fns" : [
{
"_fn" : "xpath_one" ,
"_args" : [
"//div[@id='description-container']"
]
}
] ,
"title" : {
"_fns" : [
{
"_fn" : "xpath_one" ,
"_args" : [
"//h2/text()"
]
}
]
} ,
"items" : {
"_fns" : [
{
"_fn" : "xpath" ,
"_args" : [
"//li/text()"
]
}
]
}
} ,
"product_variants" : {
"_fns" : [
{
"_fn" : "xpath" ,
"_args" : [
"//div[@class='variant']"
]
}
] ,
"_items" : {
"color" : {
"_fns" : [
{
"_fn" : "xpath_one" ,
"_args" : [
".//p[@class='color']/text()"
]
}
]
} ,
"price" : {
"_fns" : [
{
"_fn" : "xpath_one" ,
"_args" : [
".//p[@class='price']/text()"
]
}
]
}
}
}
} 其将产生以下输出内容：
Copy {
"title" : "This is a cool product" ,
"description" : {
"title" : "This is a product description" ,
"items" : [
"Durable" ,
"Nice" ,
"Sweet" ,
"Spicy"
]
} ,
"product_variants" : [
{
"color" : "Red" ,
"price" : "99.99"
} ,
{
"color" : "Green" ,
"price" : "87.99"
} ,
{
"color" : "Blue" ,
"price" : "65.99"
} ,
{
"color" : "Black" ,
"price" : "99.99"
}
]
} 您可以在这里找到更多解析指令的示例：解析指令的示例
用管道函数的
解析结果函数列表
使用自定义解析器时，如果解析失败会发生什么？
如果自定义解析器无法处理客户定义的解析指令，我们将返回12005状态代码（解析后有警告）。
Copy {
"source" : "bing_search" ,
"query" : "test" ,
"parse" : true ,
"parsing_instructions" : {
"number_of_results" : {
"_fns" : [
{
"_fn" : "xpath_one" ,
"_args" : [ ".//span[@class='sb_count']/text()" ]
} ,
{
"_fn" : "amount_from_string"
}
]
} ,
"number_of_organics" : {
"_fns" : [
{
"_fn" : "xpath" ,
"_args" : [ "//this-will-not-match-anything" ]
} ,
{
"_fn" : "length"
}
]
}
}
} 对于此类结果客户将被收取费用：
Copy {
"results" : [
{
"content" : {
"_warnings" : [
{
"_fn" : "xpath" ,
"_fn_idx" : 0 ,
"_msg" : "XPath expressions did not match any data." ,
"_path" : ".number_of_organics"
}
] ,
"number_of_organics" : null ,
"number_of_results" : 18000000000 ,
"parse_status_code" : 12005
} ,
"created_at" : "2023-03-24 09:46:46" ,
"internal" : [] ,
"job_id" : "7044967772475916289" ,
"page" : 1 ,
"parser_type" : "" ,
"status_code" : 200 ,
"updated_at" : "2023-03-24 09:46:48" ,
"url" : "https://www.bing.com/search?form=QBLH&q=test"
}
]
}
如果自定义解析器在解析操作中遇到异常并中断，则它将返回这些状态代码：12002、12006、12007。您不会因为这些意外的错误而被收费。
状态代码
请查看此处
