检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CDM”服务购买CDM集群),如何购买请参考购买批量数据迁移增量包。 [2] 作业节点调度次数/天:该规格是以每天执行的数据开发作业、质量作业、对账作业、业务场景和元数据采集作业的调度次数之和计算的,可以通过“作业节点调度次数/天增量包”进行扩容,如何购买请参考购买作业节点调度次数
并发布”。 添加标签 标签是用户自定义的标识。添加标签后,您就可以在DataArts Studio数据目录模块中通过标签搜索相关的数据资产。 在新建表或编辑表时,进入“表字段”标签页,在字段所在行的“标签”列,单击按钮可以添加标签,在弹出框中,您可以输入新的标签名称后按回车,也可以在下拉列表中选择已有标签。
新建一个业务场景 场景说明 业务场景用于监控业务指标。本例以新建一个业务场景为例,介绍如何使用业务指标监控功能。 操作步骤 在DataArts Studio控制台首页,选择对应工作空间的“数据质量”模块,进入数据质量页面。 新建业务指标。 单击左侧导航“指标管理”。 单击页面上方的“新建”,如下图所示。
主机连接固定选择为主机连接。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件 是
用户在配置中心打开了“表别名”时显示此项,名称别名。 表级标签 给表添加的标签,请输入已有的标签或新的标签名称。您也可以先前往DataArts Studio数据目录模块的“标签管理”页面添加标签,然后再回到此处设置相应的标签。添加标签的具体操作,请参见管理资产标签。 *描述 表的描述信息。 资产责任人
请联系组织管理员了解标签策略详情。 当拥有多个工作空间时,您可以按使用者、维护者或用途等各类维度为各工作空间添加标签,然后在工作空间列表页面,可以通过标签搜索、识别不同类型的工作空间。 标签由标签键和标签值组成。在添加标签时,标签键和标签值可以选择在标签管理服务(简称TMS)中
数据目录配置数据搬迁 数据目录数据搬迁依赖于管理中心的资源迁移功能,详见管理中心配置数据搬迁。 当前管理中心支持搬迁的数据目录数据包含分类、标签、采集任务,数据目录中的业务资产、技术资产、指标资产均不支持直接导入导出。 您可以通过导入管理中心和数据架构数据,并运行新导入的采集任务重新生成业务资产、技术资产、指标资产。
数据地图接口 元数据实时同步接口(邀测) 搜索查询标签分页展示(邀测) 用户行为分析(邀测) 资产搜索(邀测) 创建或修改资产(邀测) 资产详情(邀测) 资产血缘(邀测) 批量血缘(邀测) 表关联作业算子列表(邀测) 产出信息(邀测) 批量打标签(邀测) 父主题: 数据目录API
实例信息。 5 作业状态相关 在作业的“操作”列,支持作业级别的启动、暂停、恢复、停止调度、重跑、添加作业标签等。 6 添加作业标签 单击“添加作业标签”,弹出“添加作业标签”对话框进行配置。 7 查看作业的节点信息 单击作业名称,进入“作业监控”详情页面后,单击某个节点,查看该节点的相关关联作业/脚本与监控信息。
并发布”。 添加标签 标签是用户自定义的标识。添加标签后,您就可以在DataArts Studio数据目录模块中通过标签搜索相关的数据资产。 在新建表或编辑表时,进入“表字段”标签页,在字段所在行的“标签”列,单击按钮可以添加标签,在弹出框中,您可以输入新的标签名称后按回车,也可以在下拉列表中选择已有标签。
删除单个采集任务。 启动、调度、停止采集任务 启动、调度、停止采集任务。 获取任务日志 获取任务日志。 标签接口 表11 标签接口 API 说明 查询标签列表 查询标签列表。 标签关联到资产 标签关联到资产。 数据地图接口 表12 数据地图接口 API 说明 元数据实时同步接口(邀测) 元
网络拓扑样例 操作步骤 找一台Windows机器作为网关机,该机器同时配置内网和外网IP。通过以下测试来确保网关机器的服务要求: 在该机器上ping内网MySQL地址可以ping通,例如:ping 192.168.1.8。 在另外一台可上网的机器上ping网关机的公网地址可以ping通,例如ping
看作业的实例信息,并根据需要对实例进行更多操作。 实例监控支持从“作业名称”、“创建人”、“责任人”、“CDM作业”、“节点类型”和“作业标签”等维度搜索实例。其中按照“CDM作业”搜索,是从节点的维度搜索,搜索包含该节点的作业实例列表。同时,支持通过“运行状态”和“调度方式”进行筛选作业实例。
度为各实例添加标签,然后在DataArts Studio实例列表页面,可以通过标签搜索、识别DataArts Studio实例。 标签由标签键和标签值组成。在添加标签时,标签键和标签值可以选择在标签管理服务(简称TMS)中创建的预定义标签,也可以直接输入自定义的标签。然后单击输入
度为各实例添加标签,然后在DataArts Studio实例列表页面,可以通过标签搜索、识别DataArts Studio实例。 标签由标签键和标签值组成。在添加标签时,标签键和标签值可以选择在标签管理服务(简称TMS)中创建的预定义标签,也可以直接输入自定义的标签。然后单击输入
Presto)。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件 是
Spark作业 在本章节您可以学习到数据开发模块资源管理、作业编辑等功能。 场景说明 用户在使用DLI服务时,大部分时间会使用SQL对数据进行分析处理,有时候处理的逻辑特别复杂,无法通过SQL处理,那么可以通过Spark作业进行分析处理。本章节通过一个例子演示如何在数据开发模块中提交一个Spark作业。
如何选择增量包 DataArts Studio采用基础包+增量包的计费模式。如果购买的基础包无法满足您的使用需求,则您需要额外购买增量包。 DataArts Studio增量包 当前DataArts Studio支持的增量包如表1所示。 表1 增量包介绍 增量包类型 增量包说明 购买场景说明
如何备份CDM作业? 问题描述 如何备份CDM作业? 解决方案 用户可以先通过CDM的批量导出功能,把所有作业脚本保存到本地,在需要的时候再重新创建集群、重新导入作业,实现作业备份。 父主题: 数据集成(CDM作业)
如何查看审计日志 概述 云审计服务(Cloud Trace Service,CTS)可以记录DataArts Studio相关的操作事件,用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 在您开启了云审计服务后,系统开始记录DataArts Studio的相关操作,