检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
资产血缘(邀测) 功能介绍 资产血缘接口,该接口功能处于邀测阶段,后续将随功能公测将逐步开放。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/datamap/lineage/guid/{guid} 表1 路径参数 参数 是否必选 参数类型 描述
ATAL: Invalid username/password,login denied”怎么办? 启用细粒度认证后,在数据开发组件选择数据库时报错“Failed to obtain the database”怎么办? 为什么权限同步到DLI中,会提示权限不够?
是:重新执行节点,请配置以下参数。 最大重试次数 重试间隔时间(秒) 否:默认值,不重新执行节点。 说明: 建议仅对文件类作业或启用了导入阶段表的数据库作业配置自动重试,避免自动重试重复写入数据导致数据不一致。 如果作业节点配置了重试,并且配置了超时时间,该节点执行超时后,系统支持再重试。
服务中准备两套队列、数据库资源,建议通过名称后缀进行区分,详细操作请参见配置DataArts Studio企业模式环境隔离。 对于DWS、MRS Hive和MRS Spark这三种数据源,如果在创建数据连接时选择同一个集群,则需要配置数据源资源映射的DB数据库映射关系进行开发生产环境隔离,详细操作请参见DB配置。
获取操作结果 功能介绍 获取批量操作的结果,如逻辑模型转物理模型和逆向数据库操作。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/design/operation-results 表1 路径参数 参数 是否必选 参数类型 描述 project_id
dds_link 服务器列表 服务器地址列表,输入格式为“数据库服务器域名或IP地址:端口”。多个服务器列表间以“;”分隔。 192.168.0.1:7300;192.168.0.2:7301 数据库名称 要连接的DDS数据库名称。 DB_dds 用户名 连接DDS的用户名。 cdm
+增量作业且作业处于全量抽取阶段,或者Kafka\hudi等数据源抽取速度慢,请优先尝试加大作业并发数,以提高作业的并发抽取速率。 Mysql\Oracle\SqlServer\PostGres\OpenGauss等关系型数据为保证事务有序,在增量阶段是单并发抽取,加大并发一般不会提升抽取性能。
业务指标监控简介 当前,数据架构有完善的指标设计和管理能力,建议您后续使用数据架构的业务指标功能,数据质量的业务指标监控模块即将下线。 业务指标监控模块是对业务指标进行质量管理的工具。 为了进行业务指标监控,您可以先自定义SQL指标,然后通过指标的逻辑表达式定义规则,最后新建并调
服务器列表 MongoDB服务器地址列表,输入格式为“数据库服务器域名或IP地址:端口”。多个服务器列表间以“;”分隔。 192.168.0.1:7300;192.168.0.2:7301 数据库名称 要连接的MongoDB数据库名称。 DB_mongodb 用户名 连接MongoDB的用户名。
配置CDM作业定时任务 在表/文件迁移的任务中,CDM支持定时执行作业,按重复周期分为:分钟、小时、天、周、月。 CDM在配置定时作业时,不要为大量任务设定相同的定时时间,应该错峰调度,避免出现异常。 如果通过DataArts Studio数据开发调度CDM迁移作业,此处也配置了
是:重新执行节点,请配置以下参数。 最大重试次数 重试间隔时间(秒) 否:默认值,不重新执行节点。 说明: 建议仅对文件类作业或启用了导入阶段表的数据库作业配置自动重试,避免自动重试重复写入数据导致数据不一致。 如果调度CDM迁移作业时使用了参数传递,不能在CDM迁移作业中配置“作业失败重试”参数,推荐在此处配置即可。
cdm_endpoint MySQL数据库 IP地址 本地的MySQL数据库的IP地址,且该地址允许CDM通过公网IP访问。 1xx.120.85.24 端口 MySQL数据库的端口。 3306 数据库名称 待导出数据的MySQL数据库名称。 DB_name 用户名 访问MySQL数据库的用户,该用户
数据源认证及其他功能配置 用户名 是 数据库的用户名,创建DWS集群时指定的用户名。 密码 是 数据库的访问密码,创建DWS集群时指定的密码。 数据集成配置 数据库名称 是 适用组件勾选数据集成后,呈现此参数。 配置为要连接的数据库名称。 单次请求行数 否 适用组件勾选数据集成后,呈现此参数。
资源队列 选择目的表所属的资源队列。 DLI的default队列无法在迁移作业中使用,您需要在DLI中新建SQL队列。 cdm 数据库名称 写入数据的数据库名称。 dli 表名 写入数据的表名。 car_detail 分区 用于抽取分区的信息。 ['year=2020'] ['year=2020
实例(即采集任务)的状态。 成功 部分成功 执行中 失败 运行异常 暂停:因管理面升级,监控任务暂停,升级完成后监控继续执行。 调度方式 展示采集任务的调度状态,分为单次调度和周期调度。 调度周期 展示采集任务的调度周期。 开始时间 重跑采集任务的启动时间。 结束时间 重跑采集任务的结束时间。 运行时间
数据架构 数据架构概述 数据架构使用流程 添加审核人 数据调研 标准设计 模型设计 指标设计 通用操作 使用教程
} For Each节点子作业参数:#{Loop.current[索引]} 通过For Each节点输出结果值适用场景更广泛,但需将作业拆分为主作业和子作业。 通过StringUtil提取输出结果值 场景说明 通过StringUtil内嵌对象EL表达式分割二维数组结果,获取前一节
故障恢复 DataArts Studio云服务每天会定时全量备份数据库数据,当服务故障后,通过备份恢复等技术方案支持数据恢复。 关于DataArts Studio支持的备份信息,请参见备份管理。 父主题: 安全
名称:用户自定义连接名称,例如“oracle_link”。 数据库服务器地址、端口:配置为Oracle服务器的地址、端口。 数据库名称:选择要导出数据的Oracle数据库名称。 用户名、密码:Oracle数据库的登录用户名和密码,该用户需要拥有Oracle元数据的读取权限。 单击“保存”回到连接管理界面。
执行SQL语句所关联的数据库,当type参数值为DLISQL、SparkSQL、HiveSQL、DWSSQL、PRESTO、ClickHouseSQL、ImpalaSQL、HetuEngineSQL、RDSSQL其中之一时,才支持此参数。 type为DLI SQL时,可以通过查看所有数据库接口获取数据库信息。