检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
BINARY_FILE:二进制格式,不解析文件内容直接传输,CDM会原样写入文件,不改变原始文件格式。 当选择“BINARY_FILE”时,源端也必须为文件系统。 toJobConfig.fieldSeparator 否 String 列分割符号,当“toJobConfig.outputForma
详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 是 index_sample 类型
详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 table 导入开始前 导入数据前,选择是否清除目的表的数据:
详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 table 导入开始前 导入数据前,选择是否清除目的表的数据:
详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 table 导入开始前 导入数据前,选择是否清除目的表的数据:
在弹出框中,选择审核人,单击“确认提交”,提交审核。 如果当前用户已被添加为审核人,则可以勾选“自助审批”,单击“确认提交”后,状态显示为“已发布”。 选择审核人时,系统支持选择多个审核人,全部审批通过后,状态才会显示为已发布。如果有任意一个人驳回,则状态为已驳回。 可以参照步骤3~步骤5,完成其他业务指标的创建和发布。
详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 table 导入开始前 导入数据前,选择是否清除目的表的数据:
详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 table 导入开始前 导入数据前,选择是否清除目的表的数据:
基础与网络连通配置 MRS集群名 是 选择所属的MRS集群。仅支持连接MRS云服务,自建Hadoop集群必须在纳管到MRS云服务后才可以选择。系统会显示所有项目ID和企业项目相同的MRS集群。 说明: 当前DataArts Studio不支持对接“Kerberos加密类型”为“aes256-sha2
详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 table 导入模式 导入数据到DWS时,用户可以指定导入模式。
BINARY_FILE:二进制格式,不解析文件内容直接传输,不要求文件格式必须为二进制。适用于文件到文件的原样复制。 当选择“BINARY_FILE”时,目的端也必须为文件系统。 fromJobConfig.lineSeparator 否 String 文件中的换行符,默认自动识别"\\n"、"\\r"或"\\r
查询实时作业的运行状态。 300 30 查询作业实例列表 查询作业实例列表。 300 30 查询作业实例详情 查询作业实例详情。 300 30 查询系统任务详情 查询异步任务详情。 100 10 父主题: API概览
详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 TABLE_EXAMPLE 导入开始前
topic列表,可以为多个topic,以“,”作为分隔符。 fromJobConfig.kafkaConsumerStrategy 是 枚举 从Kafka拉取数据时的初始偏移量设置: LATEST:最大偏移量,即最新的数据。 EARLIEST:最小偏移量,即最老的数据。 fromJobConfig
使用连接串模式填写对应集群的IP和端口进行连接配置。 MRS集群名 是 选择所属的MRS集群。仅支持连接MRS云服务,自建Hadoop集群必须在纳管到MRS云服务后才可以选择。系统会显示所有项目ID和企业项目相同的MRS集群。 说明: 当前DataArts Studio不支持对接“Kerberos加密类型”为“aes256-sha2
ON对象或JSON数组。 JSON对象 记录节点 文件类型为JSON对象时支持此参数。 记录数据的根节点。该节点对应的数据为JSON数组,系统会以同一模式从该数组中提取数据。多层嵌套的JSON节点以字符“.”分割。 data.list 高级属性 使用rfc4180解析器 文件格式为CSV格式时支持此参数。
云资源的标识与管理可通过标签实现。 使用场景 通常您的业务系统可能使用了华为云的多种云服务,您可以为这些云服务下不同的资源实例分别设置标签(对于DataArts Studio而言,标签作用于其实例上),各服务产生的计费详单中都会体现这些资源实例和实例上设置的标签。如果您的业务系统是由多个不同的应用构成,为同一
说明: 数据安全组件不支持连接串模式的DWS连接。 DWS集群名 是 “手动”选择为“集群名模式”时需要配置本参数。 选择DWS集群,系统会显示所有项目ID和企业项目相同的DWS集群。 IP或域名 是 “手动”选择为“连接串模式”时需要配置本参数。 “IP或域名”如果手动填写
起止时间范围左闭右开:[起始时间,结束时间)。可配合调度任务使用。 最早:表示从开始点位消费数据。 最新:表示从最后点位消费数据。已提交:拉取已提交的数据。起止时间策略,等待时间,最大抽取时间相互独立。只要有任意一个条件符合,则kafka抽取结束。 起止时间 起始时间 消费记录策略为起始时间时须设置起始时间。
注册账号并实名认证 账号是您访问华为云的责任主体,有关账号的详细介绍请参见账号中心。此处介绍如何注册一个华为账号。若您已有华为账号,可以略过此部分内容。 打开华为云网站www.huaweicloud.com。 单击页面右上角的“注册”按钮。 在注册页面,根据页面提示完成账号注册。