检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
针对数据服务返回的错误码,支持映射为自定义信息。 例如,将“DLM.0”错误码映射为“OK”。 结果集映射 是 针对工作流中查询到的所有普通API结果集,支持对一个或多个节点的结果集名称进行映射,映射后的名称会作用到JSON或文件名中,未映射的结果集将不会输出到最终返回结果中。 节点映
创建迁移作业 选择“表/文件迁移 > 新建作业”,开始创建数据迁移任务,如图8所示。 图8 创建MySQL到Hive的迁移任务 “导入前清空数据”选“是”,这样每次导入前,会将之前已经导入到Hive表的数据清空。 作业参数配置完成后,单击“下一步”,进入字段映射界面,如图9所示。 映射M
从字符串中获取指定字符串的第一个索引,没有则返回整数-1。例如从“aabaabaa”中获取“ab”的第一个索引1。 表达式:StringUtils.indexOf(value,"ab") 从字符串中获取指定字符串的最后一个索引,没有则返回整数-1。例如从“aFkyk”中获取“k”的最后一个索引4。 表达式:StringUtils
从字符串中获取指定字符串的第一个索引,没有则返回整数-1。例如从“aabaabaa”中获取“ab”的第一个索引1。 表达式:StringUtils.indexOf(value,"ab") 从字符串中获取指定字符串的最后一个索引,没有则返回整数-1。例如从“aFkyk”中获取“k”的最后一个索引4。 表达式:StringUtils
在“数据标准”页面的目录树中,选择一个目录,然后单击“新建”按钮新建一个数据标准。 在新建数据标准页面中,请参考表2配置参数。 在新建数据标准页面中,仅显示在“配置中心 > 标准模板管理”中已勾选的参数和已添加的自定义参数。表2中所示为选中数据标准模板中的所有参数并添加了一个自定义参数的场景。有
说明 单表 支持将源端一个实例下的单张表实时同步至目的端一个实例下的单张表。 整库 支持将源端一个实例下多个库的多张表批量实时同步到目的端一个实例下的多个库表,一个任务中最多支持200张目标表。 分库分表 支持将源端多个实例下多个分库的多张分表同步到目的端一个实例下的单个库表。 图2
信息。 表1 API基本信息 配置 说明 API名称 支持中文、英文、数字、下划线,且只能以英文或中文开头,3-64个字符。 API目录 一个特定功能或场景的API集合,类似文件夹,指定当前API保存的位置,后续可以在指定的API目录中检索当前API。 API目录是数据服务中AP
”,且长度为1~128个字符。 作业类型 选择作业的类型。 批处理作业:按调度计划定期处理批量数据,主要用于实时性要求低的场景。批作业是由一个或多个节点组成的流水线,以流水线作为一个整体被调度。被调度触发后,任务执行一段时间必须结束,即任务不能无限时间持续运行。 批处理作业可以配置作业级别的调度任务
归属性:一般来说,特定的数据归属特定的组织或者个人,数据具有归属性。 多源性:同一个数据可以有多个来源(多个父亲)。一个数据可以是多个数据经过加工而生成的,而且这种加工过程可以是多个。 可追溯性:数据的血缘关系,体现了数据的生命周期,体现了数据从产生到消亡的整个过程,具备可追溯性。 层次性:数据的血缘关系
CSV格式:以CSV格式解析源文件,用于迁移文件到数据表的场景。 JSON格式:以JSON格式解析源文件,一般都是用于迁移文件到数据表的场景。 ORC格式:以ORC格式解析源文件,一般都是用于迁移文件到数据表的场景。 PARQUET格式:以PARQUET格式解析源文件,一般都是用于迁移文件到数据表的场景。 二
信息。 表1 API基本信息 配置 说明 API名称 支持中文、英文、数字、下划线,且只能以英文或中文开头,3-64个字符。 API目录 一个特定功能或场景的API集合,类似文件夹,指定当前API保存的位置,后续可以在指定的API目录中检索当前API。 API目录是数据服务中AP
提交版本 提交版本涉及到数据开发的版本管理功能。 版本管理:用于追踪脚本/作业的变更情况,支持版本对比和回滚。系统最多保留最近100条的版本记录,更早的版本记录会被删除。另外,版本管理还可用于区分开发态和生产态,这两种状态隔离,互不影响。 开发态:未提交版本的脚本/作业为开发态,
会自动创建临时表,先将数据导入到该临时表,导入成功后再通过数据库的事务模式将数据迁移到目标表中,导入失败则将目的表回滚到作业开始之前的状态,具体请参见事务模式迁移。 默认为“否”,CDM直接将数据导入到目的表。这种情况下如果作业执行失败,已经导入到目标表中的数据不会自动回滚。 说明:
支持升级到新版本模式。 不支持回退到旧版本模式。 版本模式升级 对于已开通的旧版本模式实例,需要您手动将旧模式升级到新模式。模式升级的处理原则如下: 旧版本模式的初级版直接切换到新版本模式的初级版,功能体验、版本规格和计费标准均保持不变。 旧版本模式除初级版外的其他版本升级到新版本
如下要求: 有且只有一个入口API算子,并位于最上游,向下只能有一个分支。 至少有一个普通API算子,并位于中间层,上下游均有其他算子,向下只能有一个分支。 条件分支算子可选,位于中间层,必须至少有2个分支,最多支持20个分支,多个分支满足条件时仅执行第一个满足条件的分支。 注意
本章节介绍通过数据开发调用数据集成作业,将MySQL原始数据定期同步到OBS和MRS Hive中,并标准化为GES点/边数据集。然后基于标准化点/边数据集,自动生成图的元数据,实现最终将图数据(点数据集、边数据集和元数据)定期导入到GES服务中。 图1 业务场景说明 开发并调度Import
响应参数 响应消息的Content-Type是application/octet-stream,需要解析转化为一个文件,可以参考解析响应消息体中的流样例代码。响应是一个压缩文件,文件名称格式是DLF_All_DataConnections.zip,压缩文件里面的文件目录如下: connections
API基础定义 对于APP认证的API,您必须提供有效的AppKey、AppSecret才能够生成认证签名。 在“应用管理”中生成一个APP,并将APP绑定到API,就可以使用APP对应的AppKey和AppSecret访问该API。可在应用详细信息中查看AppKey和AppSecret。
迁移到DWS时出现value too long for type character varying怎么处理? 问题描述 在使用CDM迁移数据到数据仓库服务(DWS)或者FusionInsight LibrA时,如果迁移作业失败,且执行日志中出现“value too long for
CSV格式:以CSV格式解析源文件,用于迁移文件到数据表的场景。 二进制格式:选择“二进制格式”时不解析文件内容直接传输,不要求文件格式必须为二进制。适用于文件到文件的原样复制。 JSON格式:以JSON格式解析源文件,一般都是用于迁移文件到数据表的场景。 说明: 当目的端为OBS数据源时,仅支持配置二进制格式。