检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表名:选择导入到DLI的哪张表。 高级属性参数-“扩大字符字段长度”:这里选择“是”。由于MySQL和DLI存储中文时编码不一样,所需的长度也不一样,一个中文字符在UTF-8编码下可能要占3个字节。该参数选择为“是”后,在DLI中自动创表时,会将字符类型的字段长度设置为原表的3
使用Notebook实例编写和调试代码。 约束限制 使用Notebook实例提交DLI作业必须使用弹性资源池下的通用队列。 每一个弹性资源池关联唯一的Notebook实例。 Notebook作业运行过程中产生的临时数据将会存储在DLI作业桶中,且必须使用并行文件系统。 请在Mo
Debezium Format 功能描述 Debezium是一个 CDC(Changelog Data Capture,变更数据捕获)的工具,可以把其他数据库的更改实时流式传输到 Kafka 中。 Debezium 为变更日志提供了统一的格式结构,并支持使用 JSON消息。 Flink 支持将
OpenTSDB,填写OpenTSDB链接地址。 访问MRS OpenTSDB,若使用增强型跨源连接,填写OpenTSDB所在节点IP与端口,格式为"IP:PORT",OpenTSDB存在多个节点时,用分号间隔。 metric 所创建的DLI表对应的OpenTSDB中的指标名称。 tags
HBASE"二选一,大小写不敏感。 ZKHost HBase集群的ZK连接地址。 获取ZK连接地址需要先创建跨源连接,管理控制台操作请参考增强型跨源连接。 访问CloudTable集群,填写ZK连接地址(内网)。 访问MRS集群,填写ZK所在节点IP与ZK对外端口,格式为:"ZK_IP1:ZK_PORT1
<var1>, <var2>[,...]) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 nth 是 BIGINT类型。 指定要返回的位置值。 var 是 BIGINT、DOUBLE、DATETIME或STRING类型。 待排序的值。 返回值说明 DOUBLE或DECIMAL类型。
cdc-events-duplicate 设置成true,并在该source上定义PRIMARY KEY。 框架会生成一个额外的有状态算子,使用该primary key来对变更事件去重并生成一个规范化的changelog流。 更新信息请参考Debezium 官方文档。 消费Debezium Postgres
'datagen' ); 参数说明 表1 参数说明 参数 是否必选 默认值 数据类型 参数说明 connector 是 无 String 指定要使用的连接器,这里是'datagen'。 rows-per-second 否 10000 Long 每秒生成的行数,用以控制数据发出速率。
说明 format 是 (none) String 指定要使用的格式,这里应该是 'csv'。 csv.field-delimiter 否 , String 字段分隔符 (默认','),必须为单字符。您可以使用反斜杠字符指定一些特殊字符,例如 '\t' 代表制表符。 您也可以通过
用户只需在表结构中声明查询中使用的的列簇和列限定符。除了ROW类型的列,剩下的原子数据类型字段(比如,STRING, BIGINT)将被识别为HBase的rowkey,一张表中只能声明一个rowkey。rowkey字段的名字可以是任意的,如果是保留关键字,需要用反引号进行转义。 语法格式 create table hbaseSource
用户只需在表结构中声明查询中使用的的列簇和列限定符。除了ROW类型的列,剩下的原子数据类型字段(比如,STRING, BIGINT)将被识别为HBase的rowkey,一张表中只能声明一个rowkey。rowkey字段的名字可以是任意的,如果是保留关键字,需要用反引号进行转义。 语法格式 create table hbaseSource
防火墙规则已开放连接端口。 数据源为云上的CSS服务时,网络互通需满足如下条件: i. CDM集群与云上服务处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 ii. CDM集
Canal Format 功能描述 Canal是一个 CDC(ChangeLog Data Capture,变更日志数据捕获)工具,可以实时地将 MySQL 变更传输到其他系统。Canal 为变更日志提供了统一的数据格式,并支持使用 JSON 或 protobuf序列化消息(Canal
Upsert Kafka Filesystem 参数说明 表1 参数 是否必选 默认值 类型 描述 format 是 (none) String 指定要使用的格式, 这里应该是 'raw'。 raw.charset 否 UTF-8 String 指定字符集来编码文本字符串。 raw.endianness
"jdbc:hive2://<kyuubi-server-host>:<port>/" <kyuubi-server-host> 是Kyuubi Server的主机名或IP地址。 <port> 是Kyuubi Server监听的端口,默认是10009。 配置样例: kyuubi-beeline
的每个元素进行处理。当是fields时,会将该map或array类型的字段值直接作为一个redis中的一个value。 而当是array或者map时,会将array中的每个值作为redis中的一个value,会将map中该字段的value作为redis中的value。array-
对于2024年5月之前开通并使用DLI服务的用户,如需使用“查询结果写入桶”功能,必须提交工单申请加入白名单。 方式一:使用Maven中央库来添加JDBC驱动 Maven中央库是Apache Maven项目的一部分,提供了Java库和框架。 在不指定JDBC获取方式的情况下,默认使用Maven中央库的方式来添加JDBC驱动。
长度为1~57字节。 说明: 作业名称必须是唯一的。 描述 作业的相关描述,且长度为0~512字节。 标签 使用标签标识云资源。包括“标签键”和“标签值”。如果您需要使用同一标签标识多种云资源,即所有服务均可在标签输入框下拉选择同一标签,建议在标签管理服务(TMS)中创建预定义标签。
火墙规则已开放连接端口。 数据源为云上的MRS、DWS时,网络互通需满足如下条件: i. CDM集群与云上服务处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 ii. CDM
单击“下一步”,进入到字段映射界面,CDM会自动匹配源和目的字段。 如果字段映射顺序不匹配,可通过拖拽字段调整。 如果选择在目的端自动创建类型,这里还需要配置每个类型的字段类型、字段名称。 CDM支持迁移过程中转换字段内容 图8 字段映射 单击“下一步”配置任务参数,一般情况下全部保持默认即可。