检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
的权限，详情可参考OBS权限控制。 建议创建单独用于Migration任务连接的数据库账号，避免因为数据库账号密码修改，导致的任务连接失败。 连接源和目标数据库的账号密码修改后，请同步修改管理中心对应的连接信息，避免任务连接失败后自动重试，导致数据库账号被锁定影响使用。 支持的同步对象范围
称为对应的数据表名，将后文提供的各样例数据分别复制粘贴到不同CSV文件中，然后保存CSV文件。 以下是Windows下生成.csv文件的办法之一： 使用文本编辑工具（例如记事本等）新建一个txt文档，将后文提供的样例数据复制进文档中。注意复制后检查数据的行数及数据分行的正确性（注
节点概述 节点定义对数据执行的操作。数据开发模块提供数据集成、计算&分析、数据库操作、资源管理等类型的节点，您可以根据业务模型选择所需的节点。 节点的参数支持使用EL表达式，EL表达式的使用方法详见表达式概述。 节点间的连接方式支持串行和并行。 串行连接：按顺序逐个执行节点，当A节点执行完成后，再执行B节点。
该参数。 选择“是”后，迁移对象文件时会复制源文件的Content-Type属性，主要用于静态网站的迁移场景。 归档存储的桶不支持设置Content-Type属性，所以如果开启了该参数，目的端选择写入的桶时，必须选择非归档存储的桶。 toJobConfig.quoteChar 否
Studio调度大数据服务时，需要注意的地方需要说明一下。 解决方案 DLI和MRS作为大数据服务，不具备锁管理的能力。因此如果同时对表进行读和写操作时，会导致数据冲突、操作失败。 如果您需要对大数据服务数据表进行读表和写表操作，建议参考以下方式之一进行串行操作处理： 将读表和写表操作拆分为同一作业的不同节点
这样CDM每天凌晨自动执行全量迁移，但因为“重复文件处理方式”选择了“跳过重复文件”，相同名称且相同大小的文件不迁移，所以只会上传每天新增的文件。 单击“保存”，完成CDM的增量同步配置。 父主题： 使用CDM上传数据到OBS
用户Token，使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 workspace 是 String 工作空间ID，获取方法请参见实例ID和工作空间ID。 Dlm-Type 否 String 数据服务的版本类型，指定SHARED共享版或EXCLUSIVE专享版。
Sessions的配置值确定。请根据Shell或Python脚本的调度频率合理配置MaxSessions的值。 连接主机的用户需要具有主机/tmp目录下文件的创建与执行权限。 Shell和Python脚本都是发往ECS主机的/tmp目录下去运行的，需要确保/tmp目录磁盘不被占满。
REJECT: 已驳回 logic_tb_id String 逻辑实体的ID，ID字符串。 biz_catalog_id String 归属的业务分类的id，ID字符串。 catalog_path String 归属的业务分类的路径 {"l1Id":"","l2Id":"","l3Id":""}。
获取当前目录下的目录列表（全量） 功能介绍 获取当前目录下的目录列表（全量数据，不分页，推荐仅用于生成目录树等无法分页的场景）。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/servicecatalogs/{catalog_id}/catalogs
在“驱动管理”页面中，选择以下方式上传MySQL驱动。 方式一：单击对应驱动名称右侧操作列的“上传”，选择本地已下载的驱动。 方式二：单击对应驱动名称右侧操作列的“从sftp复制”，配置sftp连接器名称和驱动文件路径。 在“集群管理”界面，单击集群后的“作业管理”，选择“连接管理
在数据架构控制台，单击左侧导航树的“技术指标”，然后选择“复合指标”页签，进入复合指标页面。 在复合指标列表中，勾选需要删除的复合指标，单击列表上方的“更多 >删除”按钮，系统弹出“删除”对话框。 单击“确定”。 导入复合指标 可通过导入的方式将复合指标批量快速的导入到系统中。 在复合指标列表上方，单击“更多
支持以下三种投递策略将源端的数据按规则同步到Kafka Topic的特定Partition： 全部投递到Partition 0。 按源端分区投递到对应的Partition：源端消息在第n个分区，则投递到目的端的第n个分区，该策略可以保证消息顺序。 按轮询模式投递到不同的Parti
挂起当前作业执行计划：当前作业实例的状态为运行异常，该节点的后续节点以及依赖于当前作业的后续作业实例都会处于等待运行状态。 是否空跑 否 如果勾选了空跑，该节点不会实际执行，将直接返回成功。 任务组 否 选择任务组。任务组配置好后，可以更细粒度的进行当前任务组中的作业节点的并发数控制，比如作业中包含多个节点、补数据、重跑等场景。
可追溯性：数据的血缘关系，体现了数据的生命周期，体现了数据从产生到消亡的整个过程，具备可追溯性。 层次性：数据的血缘关系是有层次的。对数据的分类、归纳、总结等对数据进行的描述信息又形成了新的数据，不同程度的描述信息形成了数据的层次。 DataArts Studio生成的血缘关系图如图1所示，为数据表对象，为
可追溯性：数据的血缘关系，体现了数据的生命周期，体现了数据从产生到消亡的整个过程，具备可追溯性。 层次性：数据的血缘关系是有层次的。对数据的分类、归纳、总结等对数据进行的描述信息又形成了新的数据，不同程度的描述信息形成了数据的层次。 DataArts Studio生成的血缘关系图如图1所示，为数据表对象，为
配置Redis源端参数 第三方云的Redis服务无法支持作为源端。如果是用户在本地数据中心或ECS上自行搭建的Redis支持作为源端或目的端。 作业中源连接为从本地Redis导出的数据时，源端作业参数如表1所示。 表1 Redis作为源端时的作业参数 参数类型 参数名 说明 取值样例
中重启集群才能更新生效。 单作业的抽取并发数取值范围为1-300，集群的总抽取并发数取值范围为1-1000。其中集群最大抽取并发数的设置与CDM集群规格有关，并发数上限建议配置为vCPU核数*2，作业的抽取并发数建议不超过集群的总抽取并发数，过高的并发数可能导致内存溢出，请谨慎修改。
对于集群化的数据源（例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS等），DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务，在开发和生产流程中自动切换对应的数据湖。因此您需要准备两套数据湖服务，且两套数据湖服务的版本、规
在弹出的“移动作业”或“移动目录”页面，配置作业要移动到的目录。 图2 移动作业 图3 移动目录 表1 移动作业/作业目录参数 参数 说明 选择目录 选择作业或作业文件夹要移动到的目录，父级目录默认为根目录。 单击“确定”，移动作业。 方式二：通过拖拽的方式。 单击选中待移动的作业
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
