检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DCS的连接IP,需要先创建跨源连接,管理控制台操作请参考增强型跨源连接。 创建增强型跨源连接后,使用DCS提供的"连接地址"。"连接地址"有多个时,选择其中一个即可。 说明: 访问DCS目前只支持增强型跨源。 port DCS的连接端口,例如6379。 password (已废弃)
数据类型 说明 target STRING 待处理的目标字符串。 说明: 如果target为NULL,则返回一个空行。 如果target包含两个或多个连续出现的分隔符时,则返回长度为零的空子字符串。 如果target未包含指定分隔符,则返回目标字符串。 separator VARCHAR
数据类型 说明 target STRING 待处理的目标字符串。 说明: 如果target为NULL,则返回一个空行。 如果target包含两个或多个连续出现的分隔符时,则返回长度为零的空子字符串。 如果target未包含指定分隔符,则返回目标字符串。 separator VARCHAR
访问MRS OpenTSDB,若使用增强型跨源连接,填写OpenTSDB所在节点IP与端口,格式为"IP:PORT",OpenTSDB存在多个节点时,用分号间隔。 metric 所创建的DLI表对应的OpenTSDB中的指标名称。 tags metric对应的标签,用于归类、过滤
访问MRS OpenTSDB,若使用增强型跨源连接,填写OpenTSDB所在节点IP与端口,格式为"IP:PORT",OpenTSDB存在多个节点时,用分号间隔。 metric 所创建的DLI表对应的OpenTSDB中的指标名称。 tags metric对应的标签,用于归类、过滤
无 String 上传“user.keytab”文件的OBS路径。如果开启了kerberos认证,则必须设置。 properties.connector.kerberos.krb5 否 无 String 上传“krb5.conf”文件的OBS路径。如果开启了kerberos认证,则必须设置。
创建跨源认证的认证名。开启kerberos认证时,需配置该参数,填写对应的跨源认证名称。跨源认证创建详见创建跨源认证。 说明: 请确保在DLI队列host文件中添加MRS集群master节点的“/etc/hosts”信息。 注意事项 无。 示例 将数据输出到MRS的HBase中。 1 2 3
"Task Managers" -> "Stdout"。 方法二:若在提交运行作业前选择了保存日志,则可以从日志的taskmanager.out文件中查看。 +I(111,scooter,Big 2-wheel scooter,5.15) 父主题: Format
项目编号,用于资源隔离。获取方式请参考获取项目ID。 queue_name 是 String 待删除定时扩缩计划的队列名称。名称长度为1~128个字符,多个队列名称使用逗号“,”分隔。 请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 plan_ids 是 Array of Long
"Task Managers" -> "Stdout"。 方法二:若在提交运行作业前选择了保存日志,则可以从日志的taskmanager.out文件中查看。 -U(111,scooter,Big2-wheel scooter,5.18) +U(111,scooter,Big2-wheel
ud-dli-jdbc-<version>-jar-with-dependencies.jar”。 在使用JDBC的机器中,将上一步解压的文件“huaweicloud-dli-jdbc-1.1.1-jar-with-dependencies.jar”添加至Java工程的“classpath”路径下。
创建CDM迁移作业。 登录CDM控制台,选择“集群管理”,选择已创建的CDM集群,在操作列选择“作业管理”。 在“作业管理”界面,选择“表/文件迁移”,单击“新建作业”。 在新建作业界面,配置当前作业配置信息,具体参数参考如下: 图6 新建CDM作业作业配置 作业名称:自定义数据迁
String 当“type”为“driver”时,输出Spark Driver日志。 index 否 Integer 当提交的作业进行重试时,会有多个driver日志。“index”用于指定driver日志的索引号,默认为“0”。需要与“type”参数一起使用。如果只指定“index”,则“type”默认为“driver”。
"Task Managers" -> "Stdout"。 方法二:若在提交运行作业前选择了保存日志,则可以从日志的taskmanager.out文件中查看。 -U(111,scooter,Big2-wheel scooter,5.18) +U(111,scooter,Big2-wheel
创建CDM迁移作业。 登录CDM控制台,选择“集群管理”,选择已创建的CDM集群,在操作列选择“作业管理”。 在“作业管理”界面,选择“表/文件迁移”,单击“新建作业”。 在新建作业界面,配置当前作业配置信息,具体参数参考如下: 图6 新建CDM作业作业配置 作业名称:自定义数据迁
存储计费 按照存储在DLI服务中的表数据存储量(单位为“GB”)收取存储费用。 在估算存储费用时,请特别注意,DLI采用压缩存储,通常能压缩到原文件大小的 1/5 。DLI存储按照压缩后的大小计费。 如果数据存储在OBS服务中,则DLI服务不收取存储费用,对应的费用由OBS服务收取。 扫描量计费
Kerberos类型的跨源认证:适用于开启Kerberos认证的MRS安全集群。配置时需指定MRS集群认证凭证,包括“krb5.conf”和“user.keytab”文件。详细操作请参考创建Kerberos跨源认证。 Kafka_SSL类型的跨源认证:适用于开启SSL的Kafka,配置时需指定KafkaTr
后单击“去支付”。 图3 续费确认 进入支付页面,选择支付方式,确认付款,支付订单后即可完成续费。 统一包年/包月资源的到期日 如果您持有多个到期日不同的资源,或者您的队列资源到期日不同,可以将到期日统一设置到一个日期,便于日常管理和续费。 图4展示了用户将两个不同时间到期的资源
属性分隔符,仅当编码格式为csv时,用户可以自定义属性分隔符,默认为“,”英文逗号。 connector.partition-key 否 数据输出分组主键,多个主键用逗号分隔。当该参数没有配置的时候则随机派发。 注意事项 无 示例 将流disSink的数据输出到DIS中。 1 2 3 4
"Task Managers" -> "Stdout"。 方法二:若在提交运行作业前选择了保存日志,则可以从日志的taskmanager.out文件中查看。 -U(111,scooter,Big2-wheel scooter,5.15) +U(111,scooter,Big2-wheel