检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
实例ID可参考如下步骤进行获取: 在DataArts Studio控制台首页,选择对应工作空间,并单击任一模块,如“管理中心”。
神通(ST)连接参数说明 连接神通(ST)数据库连接时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 神通(ST)数据库连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型
查看数据血缘 首先在数据目录组件完成元数据采集任务,当数据开发作业满足自动血缘解析要求或已手动配置血缘,然后成功完成作业调度后,则可以在数据目录模块可视化查看数据血缘关系。 约束限制 数据血缘关系更新依赖于作业调度,数据血缘关系是基于最新的作业调度实例产生的。 对于同一版本的数据开发作业
自然周期调度之上一周期依赖原理 自然周期调度的概念 自然周期调度作业的调度周期包括分钟、小时、天、周、月这五种周期,不同调度周期的作业,其允许配置的依赖作业调度周期总结如图1所示。 图1 上一周期作业依赖关系全景图 即作业A的调度依赖于作业B的上一调度周期,包含以下场景: 分钟依赖分钟
步骤2:数据集成 OBS数据迁移到DWS 登录CDM管理控制台。单击左侧导航上的“集群管理”,进入集群管理界面。 或参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。在DataArts Studio控制台首页,选择对应工作空间的“数据集成
DMS Kafka连接参数说明 连接DMS的Kafka队列时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 DMS Kafka连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型
购买数据集成资源组增量包 数据集成资源组增量包对应数据集成实时作业所需的资源组。数据集成资源组提供数据上云和数据入湖出湖的集成能力,全向导式配置和管理,支持单表、整库、分库分表、全量+增量及增量同步等不同场景的数据迁移。 通过购买一个按需计费方式的数据集成资源组增量包,系统会按照您所选规格自动创建一个数据集成实时作业所需的资源组
MRS Hudi连接参数说明 连接MRS Hudi时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 Hudi连接参数 参数名 说明 取值样例 名称 连接名称。 Hudilink Manager
配置MRS ClickHouse源端参数 作业中源连接为MRS ClickHouse连接时,源端作业参数如表1所示。 表1 MRS ClickHouse作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源连接名称 选择已配置的MRS ClickHouse连接。 ck_from_cdm
配置数据血缘 DataArts Studio数据血缘解析方案包含自动分析血缘和手动配置血缘两种方式。一般推荐使用自动血缘解析的方式,无需手动配置即可生成血缘关系,在不支持自动血缘解析的场景下,再手动配置血缘关系。 自动血缘解析,是由系统解析数据开发作业中的数据处理和数据迁移类型节点后自动产生的
开发者操作 开发者作为任务开发与处理的人员,需要开发脚本、开发作业等,相关操作如下表所示。 表1 开发者操作 操作 说明 脚本开发 选择开发环境的数据湖引擎,在开发环境下的调测并发布数据开发脚本,发布到生产环境后系统会自动替换为对应生产环境引擎。 具体请参见脚本开发。 作业开发 选择开发环境的数据湖引擎
运维者操作 运维者作为运维管理的负责人,需要对生产环境的作业、实例、通知、备份等进行统一管控,相关操作如下表所示。 表1 运维者操作 操作 说明 作业监控 包含对批作业、实时作业的监控。 具体请参见作业监控。 实例监控 对作业实例进行监控,作业每次运行,都会对应产生一次作业实例记录
为什么会提示每日执行节点个数超过上限,应该怎么处理? 每日执行节点个数即DataArts Studio不同实例版本中的作业节点调度次数/天配额,各版本配额差异可参见如何选择DataArts Studio版本。 可能原因 当每日作业节点调度的已使用次数+运行中次数+本日将运行次数之和达到配额时
MySQL迁移时报错:invalid input syntax for integer: "true" 问题描述 数据库中存储的是1或0,但没有true和false的数据,但MySQL迁移时读取到的是true或false,提示报错信息:Unable to execute the SQL
源端为HBase/CloudTable JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "
源端为FTP/SFTP JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name": "
源端为Redis JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name": "fromJobConfig.isBatchMigration
贯标与评估流程 贯标流程 DCMM贯标流程主要分为三个阶段: 差距分析:贯标启动,进行差距分析。 能力提升:建立数据管理组织,完善制度,内部运行并开展自评估。 评估确认:组建评估队伍,开展第三方评估,获取评估报告和能力证书。 图1 DCMM贯标流程 评估流程 DCMM评估流程分为如下步骤
OBS导入数据到SQL Server时出现Unable to execute the SQL statement怎么处理? 问题描述 使用CDM从OBS导入数据到SQL Server时,作业运行失败,错误提示为:Unable to execute the SQL statement
如何实现用户的工作空间隔离,使其无法查看其他未授权工作空间? DataArts Studio基于系统角色+工作空间角色实现授权的能力。默认情况下,当为普通用户配置了DAYU User系统角色,未添加为某个工作空间角色时,则该用户无法查看此工作空间。 注意,如果该普通用户同时被配置了