检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
否 忽略不存在原路径/文件 如果将其设为是，那么作业在源路径不存在的情况下也能成功执行。 否 MD5文件名后缀 校验CDM抽取的文件，是否与源文件一致，详细请参见MD5校验文件一致性。 .md5 QUERY参数 此字段为true时，则上传对象时使用的对象名为去掉query参数的字符。
参数名 类型 默认值 说明 scan.incremental.snapshot.backfill.skip boolean true 全量阶段是否跳过读取binlog数据，默认为true。跳过读取binlog数据可以有效降低内存使用。需要注意的是，跳过读取binlog功能只提供at-least-once保证。
获取schemas 获取schemas，目前只有DWS和采用postgresql驱动的RDS数据源支持schema，请在调用前确认该数据源是否支持schema字段。 12000 60 获取数据源中的表 获取数据源中的表。 12000 60 获取数据源中表的字段 获取数据源中表的字段。
Hudi数据源）时，由于Hudi的限制，必须存在字段主键才能数据落库成功，否则会导致表同步失败。 分区 是否设置为分区字段。 不为空 是否限制该字段不为空。 描述 输入维度属性的描述信息。 稽核状态 表示是否进行数据标准稽核。 单击“数据标准稽核”，进行数据标准稽核。 操作 相关操作按钮。 在“
断开，正常情况下，客户端会正常响应。 修改后，重启ECS的sshd，执行如下命令： restart sshd.service 检查sshd是否启动成功（下图为成功）： 父主题： 数据开发
"hive_link", "connector-name": "hive-connector" } ] } 连接参数 参数 是否必选 类型 说明 llinkConfig.host 是 String MRS Manager的IP地址。 linkConfig.authType
公共消息头 公共请求消息头 公共请求消息头如表1所示。 表1 公共请求消息头 名称 描述 是否必选 示例 Content-Type 消息体的类型（格式），默认取值为“application/json”。 如果请求消息体中含有中文字符，则还需要通过charset=utf8指定中文字符集。
支持将迁移过程中处理失败的、被清洗过滤掉的、不符合字段转换或者不符合清洗规则的数据单独归档到脏数据日志中，便于用户查看。并支持设置脏数据比例阈值，来决定任务是否成功。 CDM迁移原理 用户使用CDM服务时，CDM管理系统在用户VPC中发放全托管的CDM实例。此实例仅提供控制台和Rest API访问
并根据需要对实例进行更多操作。 该作业调度时间从2023/03/09开始生效，每天2点调度一次作业。 执行以下SQL命令，查询目的表B里面是否存在源表A的数据。 SELECT * FROM B 参数配置完成后，保存并提交此作业的最新版本，测试运行该作业。 单击“执行调度”，让该作业运行起来。
并根据需要对实例进行更多操作。 该作业调度时间从2023/03/09开始生效，每天2点调度一次作业。 执行以下SQL命令，查询目的表B里面是否存在源表A的数据。 SELECT * FROM B 参数配置完成后，保存并提交此作业的最新版本，测试运行该作业。 单击“执行调度”，让该作业运行起来。
标的来源表。 原子指标与衍生指标的关系： 原子指标的计算逻辑修改生效后，会直接更新应用于相关的衍生指标。 原子指标删除英文名，需要校验下游是否有衍生指标使用，如果有，则无法删除。 目前原子指标在被下游使用的情况下，支持变更英文名。 原子指标的更改会影响下游衍生指标。 约束与限制
Studio工作空间中被设置为对应的工作空间角色。 如果您只给用户配置了工作空间的角色，则会出现无权限的报错。 解决方案 您需要检查IAM用户所在的用户组是否已经在IAM控制台中被授予DAYU User或DAYU Administrator的系统角色。IAM用户的创建和授权系统角色的具体操作如下：
主机连接参数说明 表1 主机连接 参数 是否必选 说明 数据连接类型 是 主机连接固定选择为主机连接。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后，便于统一管理。 说明： 标签的名称，
其中存在子任务失败时，可单击红色子任务名，查看失败原因。 图11 查看导入结果 搬迁后验证 在新空间的资源导入完成后，您可以在新空间查看并验证如下导入资源是否与旧空间一致： 管理中心的数据连接。 数据目录的元数据采集任务，元数据的分类和标签。 数据服务中发布的API。 父主题： DataArts
新建队列操作请参考创建队列。 cdm 数据库名称 写入数据的数据库名称。 dli 表名 写入数据的表名。 car_detail 导入前清空数据 选择导入前是否清空目的表的数据。 如果设置为是，任务启动前会清除目标表中数据。 否 空字符串作为null 如果设置为true，空字符串将作为null。 否
Studio服务各组件功能所需依赖服务的权限如表2所示。在实际授权场景中，推荐为开发者用户配置DataArts Studio服务级别的依赖服务最小权限（可参考如何最小化授权IAM用户使用DataArts Studio，为用户配置最小权限），开发者用户的最小依赖服务权限如表3所示。 在实际授权场景中，DAYU
图4 导入流程 表2 导入配置参数说明 参数名 说明 更新已有数据 如果所要导入的流程，在DataArts Studio数据架构中已经存在，是否更新已有的流程。支持以下选项： 不更新：当流程已存在时，将直接跳过，不处理。 更新：当流程已存在时，更新已有的流程信息。 在导入流程时，只有创建或更新操作，不会删除已有的流程。
管理 > 资源管理”。 单击“新建资源”，弹出“新建资源”页面，配置如表2所示的参数。单击“确定”，新建资源。 表2 资源管理参数 参数 是否必选 说明 名称 是 资源的名称，只能包含英文字母、数字、中文字符、“_”、“-”，且长度为1~32个字符。 类型 是 选择资源的文件类型：
参数名 类型 默认值 说明 scan.incremental.snapshot.backfill.skip boolean true 全量阶段是否跳过读取binlog数据，默认为true。跳过读取binlog数据可以有效降低内存使用。需要注意的是，跳过读取binlog功能只提供at-least-once保证。
图18 查看对账作业导入结果 搬迁后验证 在新空间的规则模板、质量作业、对账作业导入完成后，您可以在新空间查看并验证规则模板、质量作业、对账作业是否与旧空间一致，以确保导入成功。 父主题： DataArts Studio配置数据搬迁实践
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
