检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
name String url路径名称。 contains Boolean 父权限集是否包含此权限, true包含, false不包含, null未检测。 状态码: 400 表6 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String
配置CDM作业字段映射 操作场景 作业参数配置完成后,将进行字段映射的配置,您可以通过字段映射界面的可自定义新增字段,也可单击操作列下创建字段转换器。 如果是文件类数据源(FTP/SFTP/HDFS/OBS)之间相互迁移数据,且源端“文件格式”配置为“二进制格式”(即不解析文件内容直接传输),则没有字段映射这一步骤。
pe 否 String 授权状态。 枚举值: NO_AUTHORIZATION_REQUIRED: 无需授权 UNAUTHORIZED: 未授权 AUTHORIZED: 已授权 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 - File 导出包含API
配置开发生产环境隔离 配置两套数据湖服务,进行开发与生产环境隔离。 对于集群化的数据源(例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS等),DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务,在开发和生产流程中自动切换对应的数据湖。
项目ID,获取方法请参见项目ID和账号ID。 表2 Query参数 参数 是否必选 参数类型 描述 guid 否 String 资产guid,未填充时查询LV1级别业务资产,获取方法请参见数据资产guid。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
根据“作业名称”、“责任人”、“CDM作业”、“调度身份”或“节点类型”筛选作业 - 根据“作业是否配置通知”、“调度状态”、“作业标签”或“下次计划时间”范围,筛选作业 对于未配置通知的作业,系统支持可以通知类型(例如运行异常/失败)进行筛选,以便批量设置告警通知。 批量配置作业 通过勾选作业名称前的复选框,支持批量执行操作。
配置作业依赖时,可以对所依赖的作业是否在调度中进行过滤 配置作业依赖关系时,可以对所依赖的作业是否在调度中进行过滤,避免上游依赖的作业未开始调度,从而导致下游作业失败。 全部作业 调度中的作业 配置作业依赖时,支持选择依赖周期 同周期 上N周期,输入值必须在1到30之间。 说明:
集群API总配额。 deletable Boolean 集群是否可以删除。 charge_status String 集群计费状态,NO_CHARGE:未计费、CHARGED:已计费,GRACE:宽限期、RETENTION:保留期。 order_id String 订单ID。 order_type
修改连接 功能介绍 修改连接接口。 调用方法 请参见如何调用API。 URI PUT /v1.1/{project_id}/clusters/{cluster_id}/cdm/link/{link_name} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是
MRS Spark数据连接参数说明 表1 MRS Spark数据连接 参数 是否必选 说明 数据连接类型 是 MRS Spark连接固定选择为MapReduce服务(MRS Spark)。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。
购买作业节点调度次数/天增量包 作业节点调度次数/天增量包用于扩充作业节点调度次数/天配额。 不同版本的DataArts Studio实例,默认提供了不同的作业节点调度次数/天规格限制。该规格是以每天执行的数据开发作业、质量作业、对账作业、业务场景和元数据采集作业的调度次数之和计
为便于策略管理,建议名称中标明要控制的对象和内容规则。 *数据源类型 当前仅支持DWS数据源。 *数据连接 从下拉列表中选择数据连接类型中已创建的数据连接,若未创建请参考创建DataArts Studio数据连接新建连接。 *集群名称 无需选择,自动匹配数据连接中的数据源集群。 *数据库 选择行数据所在的数据库。
集群API总配额。 deletable Boolean 集群是否可以删除。 charge_status String 集群计费状态,NO_CHARGE:未计费、CHARGED:已计费,GRACE:宽限期、RETENTION:保留期。 order_id String 订单ID。 order_type
创建连接 功能介绍 创建连接接口。 调用方法 请参见如何调用API。 URI POST /v1.1/{project_id}/clusters/{cluster_id}/cdm/link 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目
schedule_interval Integer 调度间隔。 schedule_status String 调度状态 NOT_SCHEDULE 未启用任务调度 SCHEDULING 任务调度中 sync_status String 同步状态 UNKNOWN 未知 NOT_SYNC 未同步
手动:选择“集群名”模式,“IP”和“端口”不需要手动填写。 MRS集群名:选择已有的MRS集群。 KMS密钥:选择一个KMS密钥,使用KMS密钥对敏感数据进行加密。如果未创建KMS密钥,请单击“访问KMS”进入KMS控制台创建一个密钥。 绑定Agent:需选择一个数据集成集群作为连接代理,该集群和MRS集群必
配置等待运行作业实例的超期天数。当作业实例等待运行的时间,超过了所配置的期限天数时,作业实例将取消执行。超期天数,最小需配置2天,即至少需要等待2天,才可取消未运行的作业实例。超期天数默认为60天,单位:天。 历史作业实例告警策略 运维调度 配置“通知管理”中通知告警能监控的天数范围。 通知管理中配
新建整库迁移作业 操作场景 CDM支持在同构、异构数据源之间进行整库迁移,迁移原理与新建表/文件迁移作业相同,关系型数据库的每张表、Redis的每个键前缀、Elasticsearch的每个类型、MongoDB的每个集合都会作为一个子任务并发执行。 整库迁移作业每次运行,会根据整库
步骤1:数据准备 使用DataArts Studio前的准备 如果您是第一次使用DataArts Studio,请参考购买并配置DataArts Studio章节完成注册华为账号、购买DataArts Studio实例(DataArts Studio企业版)、创建工作空间等一系列
为更好的识别数据质量作业,此处加以描述信息。描述信息长度不能超过1024个字符。 标签 选择所需的标签。标签是在数据地图组件中定义的标签。如果未使用数据地图组件,则标签功能不生效。 *所属目录 数据质量作业的存储目录,可选择已创建的目录。目录创建请参见(可选)新建目录。 *作业级别