本文整理汇总了Python中scrapy.loader.processors.Join方法的典型用法代码示例。如果您正苦于以下问题：Python processors.Join方法的具体用法？Python processors.Join怎么用？Python processors.Join使用的例子？那么, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在类scrapy.loader.processors的用法示例。
在下文中一共展示了processors.Join方法的4个代码示例，这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞，您的评价将有助于系统推荐出更棒的Python代码示例。
示例1: custom_field
# 需要导入模块: from scrapy.loader import processors [as 别名]
# 或者: from scrapy.loader.processors import Join [as 别名]
def custom_field():
return scrapy.Field(input_processor=MapCompose(DataUtils.remove_html), output_processor=Join()) 示例2: url_field
# 需要导入模块: from scrapy.loader import processors [as 别名]
# 或者: from scrapy.loader.processors import Join [as 别名]
def url_field():
return scrapy.Field(input_processor=MapCompose(DataUtils.remove_html,
lambda value: value \
.replace('//', '/') \
.replace('https:/', 'https://') \
.replace('http:/', 'http://') \
.rstrip('/')),
output_processor=Join()) 示例3: category_field
# 需要导入模块: from scrapy.loader import processors [as 别名]
# 或者: from scrapy.loader.processors import Join [as 别名]
def category_field():
return scrapy.Field(output_processor=Join()) 示例4: address_field
# 需要导入模块: from scrapy.loader import processors [as 别名]
# 或者: from scrapy.loader.processors import Join [as 别名]
def address_field():
def parse_address(value):
parsed = usaddress.parse(value)
def default_or_empty(field, default):
if any(i[0] for i in parsed if i[1] == field):
return ''
return default
city_append = default_or_empty("PlaceName", " Chicago, ")
state_append = default_or_empty("StateName", "IL")
return f'{value}{city_append}{state_append}'
return scrapy.Field(input_processor=MapCompose(
DataUtils.remove_html,
parse_address),
output_processor=Join())