Python pyflink PulsarSourceBuilder用法及代码示例

本文简要介绍 python 语言中 pyflink.datastream.connectors.PulsarSourceBuilder 的用法。

用法:

class pyflink.datastream.connectors.PulsarSourceBuilder

PulsarSource 的构建器类，使用户更容易构建 PulsarSource。

以下示例显示了创建 PulsarSource 的最低设置，该 PulsarSource 从 Pulsar 主题中读取字符串值。

例子：

>>> source = PulsarSource() \
...     .builder() \
...     .set_service_url(PULSAR_BROKER_URL) \
...     .set_admin_url(PULSAR_BROKER_HTTP_URL) \
...     .set_subscription_name("flink-source-1") \
...     .set_topics([TOPIC1, TOPIC2]) \
...     .set_deserialization_schema(
...         PulsarDeserializationSchema.flink_schema(SimpleStringSchema())) \
...     .build()

服务 url、管理员 url、订阅名称、要使用的主题和记录反序列化器是必须设置的必填字段。

要指定 PulsarSource 的起始位置，可以调用set_start_cursor(StartCursor)。

默认情况下，PulsarSource 以 Boundedness.CONTINUOUS_UNBOUNDED 模式运行，并且在 Flink 作业被取消或失败之前永远不会停止。要让PulsarSource 在Boundedness.CONTINUOUS_UNBOUNDED 中运行但在某些给定的偏移处停止，可以调用set_unbounded_stop_cursor(StopCursor)。

例如下面的 PulsarSource 在消耗到 Flink 启动的事件时间后停止。

例子：

>>> source = PulsarSource() \
...     .builder() \
...     .set_service_url(PULSAR_BROKER_URL) \
...     .set_admin_url(PULSAR_BROKER_HTTP_URL) \
...     .set_subscription_name("flink-source-1") \
...     .set_topics([TOPIC1, TOPIC2]) \
...     .set_deserialization_schema(
...         PulsarDeserializationSchema.flink_schema(SimpleStringSchema())) \
...     .set_bounded_stop_cursor(StopCursor.at_event_time(int(time.time() * 1000)))
...     .build()