检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
集群、同库表列的不同内容的脱敏策略。 当前MRS服务支持的脱敏规则如表2所示,但对中文字符仅支持NULL掩盖和哈希掩盖两种脱敏方式,如果选择其他脱敏方式则脱敏不生效。 MRS Hive数据源的“SM3”、“自定义/保留前x后y”和“自定义/掩盖前x后y”这三种脱敏规则非MRS R
L数据库重名的表时,CDM会清除RDS中重名表里的数据。 约束冲突处理:选择“insert into”,当迁移数据出现唯一约束冲突时的处理方式。 高级属性里的可选参数保持默认即可。 单击“下一步”,进入选择待迁移表的界面,您可以选择全部或者部分表进行迁移。 单击“保存并运行”,CDM会立即开始执行整库迁移任务。
名称:用户自定义连接名称,例如“obslink”。 OBS服务器、端口:配置为OBS实际的地址信息。 访问标识(AK)、密钥(SK):登录OBS的AK、SK。 您可以通过如下方式获取访问密钥。 登录控制台,在用户名下拉列表中选择“我的凭证”。 进入“我的凭证”页面,选择“访问密钥 > 新增访问密钥”,如图4所示。 图4
数请根据表1和表2选择。 表1 源端作业参数说明 源端类型 说明 参数配置 OBS 支持以CSV、JSON或二进制格式抽取数据,其中二进制方式不解析文件内容,性能快,适合文件迁移。 参见配置OBS源端参数。 MRS HDFS FusionInsight HDFS Apache HDFS
sort_by 否 String 排序字段 默认为createTime,缺省值:createTime。 sort_order 否 String 排序方式 默认排序字段为降序,缺省值:desc。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是
数据安全支持成员管理视图,支持查看当前工作空间内成员的权限,并进行角色/权限集管理。 申请权限 进行访问权限管理时,除了可以自上而下地通过权限集/角色方式为用户授权外,也支持自下而上的用户权限申请、审批流程。 审批权限 审批人来自权限集/角色的管理员,权限审批后即刻生效。 启用细粒度认证 配置细粒度认证后,在DataArts
${timestamp(-1,DAY)} and ${timestamp()},这样就可以在每天的凌晨0点导出前一天产生的所有数据。 其它的配置方式原理相同。 父主题: 数据集成(CDM作业)
${timestamp(-1,DAY)} and ${timestamp()},这样就可以在每天的凌晨0点导出前一天产生的所有数据。 其它的配置方式原理相同。 父主题: 数据迁移进阶实践
Success,返回data数据是维度名称数组。 { "data" : { "value" : [ "费率代码", "日期维度", "付款方式", "供应商" ] } } 状态码: 400 { "error_code" : "DS.60xx", "error_msg"
String 规则名称。 guid String guid。 enable Boolean 规则是否开启。 method String 规则方式, REGULAR, NONE, DEFAULT content_expression String 内容表达式。 column_expression
String 规则名称。 guid String guid。 enable Boolean 规则是否开启。 method String 规则方式, REGULAR, NONE, DEFAULT content_expression String 内容表达式。 column_expression
SQL脚本 在“SQL脚本”参数后选择需要执行的脚本。如果脚本未创建,请参考新建脚本和开发SQL脚本先创建和开发脚本。 说明: 若选择SQL语句方式,数据开发模块将无法解析您输入SQL语句中携带的参数。 DLI数据目录 否 选择DLI的数据目录。 在DLI默认的数据目录dli。 在DL
支持OBS路径和DLI程序包两种类型的资源。 OBS路径:作业执行时,不会上传资源包文件到DLI资源管理,文件的OBS路径会作为启动作业消息体的一部分,推荐使用该方式。 DLI程序包:作业执行前,会将资源包文件上传到DLI资源管理。 分组设置 否 当“资源类型”选择了“DLI程序包”时,需要设置。可选择
规则名称;rule_type为CUSTOM时用户可自定义名称,rule_type为BUILTIN时输入的名称需要和内置模板中的名称一致。 method 否 String 规则方式, REGULAR, NONE, DEFAULT, COMBINE content_expression 否 String 内容表达式;只
最近运行结果,0表示运行中,1表示异常,2表示告警,3表示正常。 sort 否 String 排序字段。 order 否 String 排序方式。 请求参数 无 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 error_code String 错误码,如DQC
置,详情请参见购买数据集成资源组增量包进行配置。 检测网络连通性。 数据连接和资源组配置完成后需要测试整个迁移任务的网络连通性,可通过以下方式进行数据源和资源组之间的连通性测试。 单击展开“源端配置”触发连通性测试,会对整个迁移任务的连通性做校验。 单击源端和目的端数据源和资源组中的“测试”按钮进行检测。
传到DLI资源管理。 OBS路径:作业执行时,不会上传资源包文件到DLI资源管理,文件的OBS路径会作为启动作业消息体的一部分,推荐使用该方式。 分组设置 否 当“资源类型”选择“DLI程序包”时,才需要配置该参数。 将Spark程序资源包上传到指定的分组中,主Jar包和依赖包会上传到同一个分组中。
规则评分。 单击“规则评分”列的评分值链接,展开该规则关联的字段评分,如图5所示。 图5 表关联规则评分 导出质量报告 您可以通过以下两种方式导出质量报告: 若使用局点有OBS服务,系统默认导出到关联的OBS桶中。 由于质量报告数据量较大,单个导出文件字段条数最多为2000条,因此OBS桶里或许会有多个导出文件。
String 规则名称。 guid String guid。 enable Boolean 规则是否开启。 method String 规则方式, REGULAR, NONE, DEFAULT content_expression String 内容表达式。 column_expression
unique 否 Boolean 是否采集唯一值。 time_profile 否 Boolean 时间档案。 sample 否 String 数据采样方式。 job_id 否 String 作业id。 cancel 否 Boolean 是否取消。 auto_stop 否 Boolean 是否自动停止。