检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
据源为文件类型，那么源端作业配置下的高级属性中，“时间过滤”参数选择“是”。 参数原理：“起始时间”和“终止时间”参数中输入时间值后，只有修改时间介于起始时间和终止时间之间（时间区间为左闭右开，即等于起始时间也在区间之内）的文件才会被CDM迁移。 配置样例： 例如需要CDM只同步
Studio数据血缘解析方案包含自动分析血缘和手动配置血缘两种方式。一般推荐使用自动血缘解析的方式，无需手动配置即可生成血缘关系，在不支持自动血缘解析的场景下，再手动配置血缘关系。 自动血缘解析，是由系统解析数据开发作业中的数据处理和数据迁移类型节点后自动产生的，无需进行手动配置。支持自动血缘解析的节点类型和场景请参见自动血缘解析。
数据开发模块对于SQL脚本执行的结果支持直接下载和转储。SQL执行结果进行下载和转储后，可以通过下载中心查看下载和转储的结果。 约束与限制 仅SQL脚本和单任务SQL作业运行完成并且返回结果后，执行下载和转储，在下载中心生成记录，可以查看下载和转储的结果。 下载中心 下载中心的下载记录
图1 集群最大抽取并发数配置 作业抽取并发数的配置原则如下： 迁移的目的端为文件时，CDM不支持多并发，此时应配置为单进程抽取数据。 表中每行数据大小为1MB以下的可以设置多并发抽取，超过1MB的建议单线程抽取数据。 作业抽取并发数可参考集群最大抽取并发数配置，但不建议超过集群最大抽取并发数上限。
"false"} 配置作业参数。此处需将参数名填写为result，仅用于主作业testif中的For Each节点识别子作业参数；参数值无需填写。 图7 配置作业参数 配置完成后保存作业。 开发主作业 在“作业开发”页面，新建数据开发主作业testif。选择HIVE SQL节点和For E
在创建CDM表/文件迁移的作业，源连接选择为MongoDB连接或者DDS连接时，高级属性的可选参数中可以配置查询筛选。 图1 MongoDB查询筛选 此参数支持配置为时间宏变量，例如起始时间配置为{"ts":{$gte:ISODate("${dateformat(yyyy-MM-dd'T'HH:mm:ss
linkConfig.user 否 String 登录Manager平台的用户名，使用集群配置时不用配置 linkConfig.password 否 String 登录Manager平台的密码，使用集群配置时不用配置 linkConfig.authType 否 枚举 认证类型，分为以下两种：
单击“下一步”，选择调度方式，支持单次调度和周期调度两种方式，周期调度的相关参数配置请参见表3。 表3 配置周期调度参数 参数名 说明 生效日期 调度任务的生效时间段。 调度周期 选择调度任务的执行周期，并配置相关参数。 分钟 小时 天 周 间隔时间 调度任务的间隔时间。 调度时间 设置调度任务的起始时间和结束时间。
Hive连接时，提示：CORE_0031:Connect time out. (Cdm.0523) 。 解决方案 新建MRS Hive连接时，提示无法下载配置文件，实际是用户权限不足。建议您新建一个业务用户，给对应的权限后重试即可。 如果要创建MRS安全集群的数据连接，不能使用admin用户。因
连接的配置项，不同类型的连接配置项不同。DLI类型的连接不需要配置。config参数，其他类型的连接请参考连接配置项说明。 description 否 String 描述，长度不能超过255个字符。 请求示例 查询连接详情。 GET /v1/b384b9e9ab9b4ee8994c8633aabc950
时需要通过DLI云服务创建跨源场景委托，用于底层计算资源访问和使用本租户VPC、子网、路由、对等连接等权限，详细请参见配置DLI云服务委托权限。 搜索并进入DLI云服务控制台。 在DLI控制台左侧导航栏中单击“全局配置 > 服务授权”。 在委托设置页面，“管理相关委托设置”中勾选
解密的使用方法。 源端配置解密 创建从HDFS导出文件的CDM作业时，源端数据源选择HDFS、文件格式选择二进制格式后，在“源端作业配置”的“高级属性”中，配置如下参数。 加密方式：选择“AES-256-GCM”。 数据加密密钥：这里的密钥必须与加密时配置的密钥一致，否则解密出来的数据会错误，且系统不会提示异常。
或权限申请和审批流程所获取的权限。 约束与限制 查看用户权限时，不展示其继承自用户组的权限。 当前暂不支持在成员权限视图页面直接对权限进行配置、回收。 查看数据访问日志 在DataArts Studio控制台首页，选择对应工作空间的“数据安全”模块，进入数据安全页面。 单击左侧导
终端协议 通知方式选择“按责任人”时才需配置。 配置该参数前，请确保工作空间默认项设置中已配置作业告警通知主题。 短信 邮件 电话 单击“校验联系方式”，系统会自动校验基线责任人信息是否已配置。如果基线责任人信息未配置，请前往终端订阅管理界面进行配置，以确保告警能被正常接收。 单击“查
时可以查看环境中已配置的环境变量信息，不可修改，SQL语句中的参数可以按照参数名进行排序。 支持SQL编辑器风格配置。鼠标放置在上，单击“风格配置”，可以对编辑器、操作栏、注释模板进行配置、以及查询SQL脚本编辑器可使用的快捷键。 SQL查询结果展示支持表格和列表两种展示方式。单
project_id 是 String 项目ID，获取方法请参见项目ID和账号ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 workspace 是 String 工作空间ID，获取方法请参见实例ID和工作空间ID。 X-Auth-Token 是 String IAM
如果作业运行正常，单击“调度配置”，配置作业的调度策略。 图8 调度配置 说明： 2023/04/01 00:00开始，每天00点00分执行一次作业。 依赖属性：可以配置为依赖其他作业运行，本例不涉及，无需配置。 跨周期依赖：可以选择配置为依赖上一周期或者不依赖，此处配置为不依赖即可。 最
解密的使用方法。 源端配置解密 创建从HDFS导出文件的CDM作业时，源端数据源选择HDFS、文件格式选择二进制格式后，在“源端作业配置”的“高级属性”中，配置如下参数。 加密方式：选择“AES-256-GCM”。 数据加密密钥：这里的密钥必须与加密时配置的密钥一致，否则解密出来的数据会错误，且系统不会提示异常。
rehouses 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID，获取方法请参见项目ID和账号ID。 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 Integer 每页显示的条目数量。 offset 否 Integer
可见。 审批配置 仅当前工作空间的管理员或者拥有DAYU Administrator、Tenant Administrator权限的用户可以进行审批配置。打开审批开关后，可以对作业或者脚本进行审批配置。 图1 配置审批 选择“数据开发 > 审批中心”，单击“审批配置”页签。 开启
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
