检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在创建表/文件迁移作业的字段映射界面,可新建字段转换器,如下图所示。 图1 新建字段转换器 CDM可以在迁移过程中对字段进行转换,目前支持以下字段转换器: 脱敏 去前后空格 字符串反转 字符串替换 去换行 表达式转换 约束限制 作业源端开启“使用SQL语句”参数时不支持配置转换器。 如果在字段映射界面,
是否支持字段转换? 支持,CDM支持以下字段转换器: 脱敏 去前后空格 字符串反转 字符串替换 表达式转换 在创建表/文件迁移作业的字段映射界面,可新建字段转换器,如下图所示。 图1 新建字段转换器 脱敏 隐藏字符串中的关键信息,例如要将“12345678910”转换为“123****8910”,则配置如下:
format(${timestamp()},"yyyy-MM-dd HH:mm:ss")表达式获取当前时间,更多表达式设置方式可以参考表达式转换。 父主题: 数据集成(CDM作业)
转换逻辑模型为物理模型 功能介绍 转换逻辑模型为物理模型,转换成功则显示转换后的目标模型信息。 异常:目标模型信息的“id”等属性为null时,则需要调用《获取操作结果》接口查看具体报错信息:GET https://{endpoint}/v1/{project_id}/design/operation-results
在创建表/文件迁移作业的字段映射界面,可新建字段转换器,如下图所示。 图1 新建字段转换器 CDM可以在迁移过程中对字段进行转换,目前支持以下字段转换器: 脱敏 去前后空格 字符串反转 字符串替换 去换行 表达式转换 约束限制 作业源端开启“使用SQL语句”参数时不支持配置转换器。 如果在字段映射界面,
在创建表/文件迁移作业的字段映射界面,可新建字段转换器,如图1所示。 图1 新建字段转换器 在迁移过程中可以对字段进行转换,目前支持以下字段转换器: 脱敏 去前后空格 字符串反转 字符串替换 去换行 表达式转换 约束限制 作业源端开启“使用SQL语句”参数时不支持配置转换器。 如果在字段映射界面,通
不支持数据类型转换规避指导 操作场景 CDM在配置字段映射时提示字段的数据类型不支持,要求删除该字段。如果需要使用该字段,可在源端作业配置中使用SQL语句对字段类型进行转换,转换成CDM支持的类型,达到迁移数据的目的。 操作步骤 修改CDM迁移作业,通过使用SQL语句的方式迁移。
不支持数据类型转换规避指导 操作场景 CDM在配置字段映射时提示字段的数据类型不支持,要求删除该字段。如果需要使用该字段,可在源端作业配置中使用SQL语句对字段类型进行转换,转换成CDM支持的类型,达到迁移数据的目的。 操作步骤 修改CDM迁移作业,通过使用SQL语句的方式迁移。
规格变更接口 功能介绍 规格变更接口。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/change-resource 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
API编排典型配置 API编排的典型使用场景如下: 对返回消息进行映射或格式转换:通过API编排的方式能够灵活实现消息映射及格式转换。 数据请求依赖多个数据API:使用API编排后,可以降低调用次数,减少集成成本,提升调用效率。 约束与限制 仅3.0.6及以上版本的数据服务专享版集群支持API编排。
使用SQL语句获取的系统日期和通过数据库工具获取的系统日期是不一样,查询结果存到数据库是以YYYY-MM-DD格式,而页面显示查询结果是经过转换后的格式。 当前用户提交Spark SQL脚本到MRS时,默认提交至其绑定的租户队列(绑定队列即用户绑定的租户类型角色所对应的队列)中运行
hits”,然后在作业第二步添加转换器,操作步骤如下: 单击添加字段,新增一个字段。 图2 添加字段 在添加的新字段后面,单击添加字段转换器。 图3 添加字段转换器 创建“表达式转换”的转换器,表达式输入“1.0”,然后保存。 图4 配置字段转换器 二进制格式 如果想要在文件系统
1) + ";" + ... 已签名的消息头需要满足以下要求:将已签名的消息头名称转换为小写形式,按照字符代码对消息头进行排序,并使用“;”来分隔多个消息头。 Lowercase表示将所有字符转换为小写字母。 举例: 以下表示有两个消息头参与签名:host、x-sdk-date GET
实体、属性、属性约束、关系等要素转换为数据库软件所能够识别的表关系图(Table Relationship Diagram)的一种物理描述。 在关系建模中,您可以新建SDI层和DWI层两个模型,模型最终是通过物理建模进行落地的。除了将逻辑模型转换外为物理模型外,您也可以参考本章节直接新建一个物理模型。
配置输出处理算子 输出处理算子负责对API工作流的执行结果进行错误码映射、结果集映射和格式转换,以确定最终返回的数据格式。 表1 输出处理算子 参数 是否必选 说明 错误码映射 否 针对数据服务返回的错误码,支持映射为自定义信息。 例如,将“DLM.0”错误码映射为“OK”。 结果集映射
limit:1000, time:1 day 域名的请求次数达到了给定的上限:1天1000次。 建议:去API网关,为分组绑定域名。 临时规避:切换分组。域名以分组为单位,每个分组限制独立计算。 DLM.4018 Api is not exist API不存在。 20200630版本前发布的API:
实例规格变更 规格变更接口 父主题: 管理中心API
SDK概述 DataArts Studio服务软件开发工具包(DataArts Studio SDK,DataArts Studio Service Software Development Kit),目前提供了REST API SDK包和数据服务SDK包两种开发包,功能和差异如
ROMA FDI Job 功能 通过ROMA FDI Job节点执行一个预先定义的ROMA Connect数据集成任务,实现源端到目标端的数据集成转换。 原理 该节点方便用户启动或者查询FDI任务是否正在运行。 参数 ROMA FDI Job的参数配置,请参考以下内容: 表1 属性参数 参数
MySQL与MRS Hudi字段类型映射 Migration会根据源端的字段类型按默认规则转换成目的端字段类型,并以此完成自动建表和实时同步。 字段类型映射规则 当源端为MySQL,目的端为Hudi时,支持的字段类型请参见下表,以确保数据完整同步到目的端。 表1 MySQL >Hudi支持的字段类型