-
MRS Hive SQL - 数据治理中心 DataArts Studio
选择已创建好的MRS资源队列。 当配置默认项“MRS资源队列是否必填”设置为“是”时,该参数为必填。 说明: 需要先在数据安全服务队列权限功能中,配置对应的队列后,才能在此处选择到已配置的队列。当有多处同时配置了资源队列时,此处配置的资源队列为最高优先级。 脚本参数 否 关联的SQL脚本如果使用了参数,此处
-
步骤3:数据集成 - 数据治理中心 DataArts Studio
如果CDM集群为2.9.0版本及之后版本,且MRS集群为3.1.0及之后版本,则所创建的用户至少需具备Manager_viewer的角色权限才能在CDM创建连接;如果需要对MRS组件的库、表、列进行操作,还需要参考MRS文档添加对应组件的库、表、列操作权限。 如果CDM集群为2.9.0之前的版本,或MRS集群为3
-
通过CDM节点批量创建分表迁移作业 - 数据治理中心 DataArts Studio
如果CDM集群为2.9.0版本及之后版本,且MRS集群为3.1.0及之后版本,则所创建的用户至少需具备Manager_viewer的角色权限才能在CDM创建连接;如果需要对应组件的进行库、表、数据的操作,还需要添加对应组件的用户组权限。 如果CDM集群为2.9.0之前的版本,或MRS集群为3
-
CDM Job - 数据治理中心 DataArts Studio
建议仅对文件类作业或启用了导入阶段表的数据库作业配置自动重试,避免自动重试重复写入数据导致数据不一致。 如果调度CDM迁移作业时使用了参数传递,不能在CDM迁移作业中配置“作业失败重试”参数,推荐在此处配置即可。 如果作业节点配置了重试,并且配置了超时时间,该节点执行超时后,系统支持再重试。
-
MySQL数据迁移到MRS Hive分区表 - 数据治理中心 DataArts Studio
如果CDM集群为2.9.0版本及之后版本,且MRS集群为3.1.0及之后版本,则所创建的用户至少需具备Manager_viewer的角色权限才能在CDM创建连接;如果需要对MRS组件的库、表、列进行操作,还需要参考MRS文档添加对应组件的库、表、列操作权限。 如果CDM集群为2.9.0之前的版本,或MRS集群为3
-
开发一个Python作业 - 数据治理中心 DataArts Studio
标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件 是 选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。 默认全选。全选适用组件后,在支持该数据源的组件内都可以使用本连接。各组件支持的数据源请参考DataArts Studio支持的数据源。
-
新建DWS连接 - 数据治理中心 DataArts Studio
标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件 是 选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。 默认全选。全选适用组件后,在支持该数据源的组件内都可以使用本连接。各组件支持的数据源请参考DataArts Studio支持的数据源。
-
步骤2:准备工作 - 数据治理中心 DataArts Studio
er的角色权限才能在管理中心创建连接;如果需要对应组件的进行库、表、数据的操作,还需要添加对应组件的用户组权限。 MRS 3.1.0版本之前的集群,所创建的用户需要具备Manager_administrator或System_administrator权限,才能在管理中心创建连接。
-
创建数据集成作业 - 数据治理中心 DataArts Studio
如果CDM集群为2.9.0版本及之后版本,且MRS集群为3.1.0及之后版本,则所创建的用户至少需具备Manager_viewer的角色权限才能在CDM创建连接;如果需要对MRS组件的库、表、列进行操作,还需要参考MRS文档添加对应组件的库、表、列操作权限。 如果CDM集群为2.9.0之前的版本,或MRS集群为3
-
新建MySQL连接 - 数据治理中心 DataArts Studio
标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件 是 选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。 默认全选。全选适用组件后,在支持该数据源的组件内都可以使用本连接。各组件支持的数据源请参考DataArts Studio支持的数据源。
-
(可选)购买DataArts Studio功能增量包 - 数据治理中心 DataArts Studio
建议您将资源创建在同一可用区内。 详情请参见什么是可用区。 工作空间 选择需要使用批量数据迁移增量包的工作空间。只有在关联了工作空间后,才能在此工作空间中使用创建的CDM集群。 企业项目 当关联了多个工作空间后,需要为CDM集群指定一个企业项目。 集群名称 自定义数据集成集群名称。
-
DataArts Studio企业模式概述 - 数据治理中心 DataArts Studio
生产环境内不能做任何修改,只对最终用户开放,任何修改必须回退到开发环境中重新修改发布。 生产任务运维权限管控差异 开发人员可直接编辑生产任务的脚本和作业。 开发人员只能在数据开发界面编辑代码并且提交,但是不能将代码直接发布到生产环境,发布生产的操作需要有运维权限(部署者、管理员、运维者这几类角色拥有此权限)。
-
开发实时处理单任务Flink SQL作业 - 数据治理中心 DataArts Studio
选择已创建好的MRS资源队列。 当配置默认项“MRS资源队列是否必填”设置为“是”时,该参数为必填。 需要先在数据安全服务队列权限功能中,配置对应的队列后,才能在此处选择到已配置的队列。当有多处同时配置了资源队列时,此处配置的资源队列为最高优先级。 重跑策略 从上一个检查点重跑 重新启动 输入数据路径
-
准备工作 - 数据治理中心 DataArts Studio
er的角色权限才能在管理中心创建连接;如果需要对应组件的进行库、表、数据的操作,还需要添加对应组件的用户组权限。 MRS 3.1.0版本之前的集群,所创建的用户需要具备Manager_administrator或System_administrator权限,才能在管理中心创建连接。
-
新建表/文件迁移作业 - 数据治理中心 DataArts Studio
试,避免自动重试重复写入数据导致数据不一致。 说明: 如果通过DataArts Studio数据开发使用参数传递并调度CDM迁移作业时,不能在CDM迁移作业中配置“作业失败重试”参数,如有需要请在数据开发中的CDM节点配置“失败重试”参数。 不重试 作业分组 选择作业的分组,默认
-
调度作业 - 数据治理中心 DataArts Studio
“OBS”触发事件类型的参数(当前仅上海二区域支持) 说明: “OBS”触发事件类型的事件驱动调度,依赖于OBS的“事件通知 -> DIS通知”功能,由于OBS该功能在华为云暂未正式上线,因此当前暂时无法使用OBS触发事件类型。 OBS路径 选择要监听的OBS路径。如果该路径下有您在OBS控制台配置的指定OBS事件产生,通知则触发调度。
-
新建事实表 - 数据治理中心 DataArts Studio
H”。 DWS_VIEW:不支持设置压缩等级。 DISTRIBUTE BY 该参数仅DWS连接类型有效,为非必选项。您需要先添加表字段,才能在此下拉列表中选择某一个表字段作为DISTRIBUTE BY字段,可选取多个字段。 DWS表当前支持复制(Replication)和散列(Hash)两种分布策略。