检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
'scan.startup.mode' = '', 'format' = '' ); 源表参数说明 表2 源表参数说明 参数 是否必选 默认值 数据类型 参数说明 connector 是 无 String 指定使用的连接器,Kafka 连接器使用 'kafka'。 topic
"", batch_insert_data_num = "", action = "" ) 关键字 表1 关键字说明 参数 是否必选 说明 type 是 输出通道类型,"mrs_hbase"表示输出到MRS的HBase中。 region 是 MRS服务所在区域。 cluster_address
数据。目前,Avro schema 从表schema 推导。 支持的Connector Kafka Upsert Kafka 参数说明 表1 参数说明 参数 是否必选 默认值 类型 说明 format 是 (none) String 指定使用格式,这里应该是'avro'。 avro.codec 否 (none)
写入数据时,每一批次写入数据的记录数,默认值1000。设置越大性能越好,但占用内存越多,该值设置过大会有内存溢出的风险。 truncate 执行overwrite时是否不删除原表,直接执行清空表操作,取值范围: true false 默认为“false”,即在执行overwrite操作时,先将原表删除再重新建表。
数据。目前,Avro schema 从表schema 推导。 支持的Connector Kafka Upsert Kafka 参数说明 表1 参数说明 参数 是否必选 默认值 类型 说明 format 是 (none) String 指定使用格式,这里应该是'avro'。 avro.codec 否 (none)
'print-identifier' = '', 'standard-error' = '' ); 参数说明 表1 参数说明 参数 是否必选 默认值 数据类型 说明 connector 是 无 String 固定为:print。 print-identifier 否 无 String
写入数据时,每一批次写入数据的记录数,默认值1000。设置越大性能越好,但占用内存越多,该值设置过大会有内存溢出的风险。 truncate 执行overwrite时是否不删除原表,直接执行清空表操作,取值范围: true false 默认为“false”,即在执行overwrite操作时,先将原表删除再重新建表。
"", batch_insert_data_num = "", action = "" ) 关键字 表1 关键字说明 参数 是否必选 说明 type 是 输出通道类型,"mrs_hbase"表示输出到MRS的HBase中。 region 是 MRS服务所在区域。 cluster_address
系统跳转到“作业管理”下的作业编辑页面。 更多: “删除”:将已经创建的模板删除。 “标签”:查看或添加标签。 新建模板 创建作业模板,有以下四种方法。 进入“作业模板”页面新建模板。 在DLI管理控制台的左侧导航栏中,单击“作业模板”>“Flink模板”。 单击页面右上角“创建模板”,弹出“创建模板”页面。
// 如果存在有效的Checkpoint,则会从此Checkpoint开始继续消费 // 取值有: LATEST,从最新的数据开始消费,此策略会忽略通道中已有数据 // EARLIEST,从最初的数据开始消费,此策略会获取通道中所有的有效数据
'connector.url' = '', 'connector.table' = '' ); 参数说明 表1 参数说明 参数 是否必选 默认值 数据类型 说明 connector.type 是 无 String 固定为:clickhouse connector.url
'connector.url' = '', 'connector.table' = '' ); 参数说明 表1 参数说明 参数 是否必选 默认值 数据类型 说明 connector.type 是 无 String 固定为:clickhouse connector.url
使用HDFS时需要绑定相应的跨源,并填写相应的主机信息。 使用hdfs时,请配置主NameNode的所在节点信息。 参数说明 表1 参数说明 参数 是否必选 说明 connector.type 是 固定为filesystem。 connector.file-path 是 数据输出目录,格式为:
更多具体使用可参考开源社区文档:Avro Format。 支持的Connector Kafka Upsert Kafka FileSystem 参数说明 表1 参数说明 参数 是否必选 默认值 类型 说明 format 是 (none) String 指定使用格式,这里应该是'avro'。 avro.codec 否 (none)
tsdb-tags' = '', 'connector.tsdb-link-address' = '' ); 参数说明 表1 参数说明 参数 是否必选 说明 connector.type 是 connector的类型,只能为opentsdb。 connector.region 是 OpenTSDB服务所在的区域。
tsdb-tags' = '', 'connector.tsdb-link-address' = '' ); 参数说明 表1 参数说明 参数 是否必选 说明 connector.type 是 connector的类型,只能为opentsdb。 connector.region 是 OpenTSDB服务所在的区域。
使用HDFS时需要绑定相应的跨源,并填写相应的主机信息。 使用hdfs时,请配置主NameNode的所在节点信息。 参数说明 表1 参数说明 参数 是否必选 说明 connector.type 是 固定为filesystem。 connector.file-path 是 数据输出目录,格式为:
s = "", kafka_topic = "", encode = "json" ) 关键字 表1 关键字说明 参数 是否必选 说明 type 是 输出通道类型,"kafka"表示输出到Kafka中。 kafka_bootstrap_servers 是 Kaf
encode = "", field_delimiter = "", offset= ""); 关键字 表1 关键字说明 参数 是否必选 说明 type 是 数据源类型,“dis”表示数据源为数据接入服务。 region 是 数据所在的DIS区域。 ak 否 访问密钥ID(Access
encode = "", field_delimiter = "", offset= ""); 关键字 表1 关键字说明 参数 是否必选 说明 type 是 数据源类型,“dis”表示数据源为数据接入服务。 region 是 数据所在的DIS区域。 ak 否 访问密钥ID(Access