-
ETL Job - 数据治理中心 DataArts Studio
目标端是DWS的ETL Job节点,不支持使用委托进行调度,建议采用兼容性更佳的公共IAM账号方式进行调度,详见配置调度身份。 参数 用户可参考表1,表2和表3配置ETL Job节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、
-
导出连接(待下线) - 数据治理中心 DataArts Studio
connections ├─{dwsConnection}.conn 请求示例 导出连接。 POST /v1/b384b9e9ab9b4ee8994c8633aabc9505/connections/export 响应示例 成功响应 HTTP状态码 200 响应是一个压缩文件,压缩文件里面的文件目录如下:
-
配置调度身份 - 数据治理中心 DataArts Studio
委托:由于云各服务之间存在业务交互关系,一些云服务需要与其他云服务协同工作,需要您创建云服务委托,将操作权限委托给这些服务,让这些服务以您的身份使用其他云服务,代替您进行一些资源运维工作。 委托可以分为: 公共委托:工作空间级别的全局委托。适用于该空间内的所有作业。配置公共委托请参考配置公共委托。 作业委托
-
查询脚本信息 - 数据治理中心 DataArts Studio
是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 响应参数 表3 Script参数说明 参数名 是否必选 参数类型 说明 name 是 String
-
查询作业实例详情 - 数据治理中心 DataArts Studio
MRSSpark:执行MRS服务的Spark作业 MapReduce:执行MRS服务的MapReduce作业 MRSFlinkJob: 执行MRS服务的FlinkJob作业。 MRSHetuEngine: 执行MRS服务的HetuEngine作业。 DLISpark:执行DLF服务的Spark作业
-
批量授权API(专享版) - 数据治理中心 DataArts Studio
授权/续约ID为51159105c7838353d2834181d978af50集群上ID为760715eb1bfce0c575abab3be3bd41e6的API。 /v1/0833a5737480d53b2f250010d01a7b88/service/apis/760715eb1bfce0c575a
-
API操作(下线/停用/恢复) - 数据治理中心 DataArts Studio
Python Go 更多 下线/停用/恢复ID为51159105c7838353d2834181d978af50指定的集群上ID为760715eb1bfce0c575abab3be3bd41e6的API。 1 2 3 4 5 6 7 8 9 10 11 12 13 14
-
步骤4:元数据采集 - 数据治理中心 DataArts Studio
在任务树中选中transport目录,然后单击“新建”按钮,开始新建采集任务。 按如下配置,新建采集任务transport_all。配置采集任务后,单击“下一步”。 图3 新建采集任务-基本配置 图4 新建采集任务-元数据采集 根据需要配置调度方式,配置完成后单击“提交”,完成采集任务的创建。 图5 调度方式
-
修改作业名称 - 数据治理中心 DataArts Studio
Authorization 否 String 使用AK/SK进行认证时该字段必选。 Host 否 String 使用AK/SK进行认证时该字段必选。 表3 Body参数说明 参数名 是否必选 参数类型 说明 name 是 String 新的作业名称。 响应参数 表4 参数说明 参数名 是否必选
-
配置任务组 - 数据治理中心 DataArts Studio
描述 描述信息。 单击“确定”,任务组创建完成。 配置完成后,请前往作业开发界面,在所需作业画布右侧“调度配置”页签,选择任务组,即可按照设置好的任务组更细粒度的进行当前任务组中的作业节点的并发数控制。 后续操作 修改:单击“修改”,可以修改已配置好的任务组。任务组的修改是实时生效的。
-
新建复合指标 - 数据治理中心 DataArts Studio
页签,进入复合指标页面。 图3 复合指标 在复合指标列表中,找到需要编辑的复合指标,单击“编辑”,进入“编辑复合指标”页面。 根据实际需要修改配置参数。参数说明请参见表1。 在页面下方,单击“试运行”按钮,然后在弹出框中单击“试运行”按钮,测试所设置的复合指标是否可以正常运行。
-
作业任务参数说明 - 数据治理中心 DataArts Studio
的15号执行该定时任务。并且该参数支持输入多个,以英文的逗号“,”分隔开。 例如上述场景中“runAt”输入“1,2,3,4,5”,就表示每个月的1日、2日、3日、4日和5日执行该定时任务。 周期类型为“week”时,“runAt”输入“mon,tue,wed,thu,fri”,就表示周一到周五执行该定时任务。
-
步骤5:数据架构 - 数据治理中心 DataArts Studio
在新建码表页面中,请参考表2配置参数,然后单击“保存”。 图14 新建码表 参考步骤3.a~3.b,在供应商目录下创建供应商码表,在费率目录下创建费率码表。 图15 供应商码表 图16 费率码表 分别为付款方式、供应商、费率3个码表填写数值。 在“码表管理”页面,找到码表“付款方式”,然后在该码表所在行选择“更多
-
查询脚本列表 - 数据治理中心 DataArts Studio
工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 响应参数 参数名 是否必选 参数类型 说明 total 是 Integer 总的脚本个数。 scripts 是 List<Script> 脚本列表。 表3 Script参数说明
-
数据库、数据仓库、数据湖与华为智能数据湖方案 - 数据治理中心 DataArts Studio
aArts Studio平台,提供了数据使能的全套能力,支持数据的采集、汇聚、计算、资产管理、数据开放服务的全生命周期管理。 华为FusionInsight解决方案,对应的各服务如下: 数据库: 关系型数据库包括:云数据库RDS、云数据库 GaussDB(for MySQL)、云数据库
-
资产总览 - 数据治理中心 DataArts Studio
资产报告 在DataArts Studio控制台首页,选择实例,单击“进入控制台”,选择对应工作空间的“数据目录”模块,进入数据目录页面。 图3 选择数据目录 选择“数据地图 > 总览”,单击并进入“资产报告”页面。 首次进入“资产报告”页面,需要配置资产报告任务。单击右上方的配置图标,弹出配置窗口。
-
管理回收站 - 数据治理中心 DataArts Studio
不同数据还原时的操作基本一致,后续步骤以还原权限集数据为例,为您介绍如何还原数据。 在权限集页签,找到待还原的权限集,单击列表操作栏中的“还原”进行数据还原。或者勾选待还原的权限集,单击列表上方的“还原”,进行批量还原。 图3 数据还原 在弹出的确认窗口中,您需要选择同名处理方式,以避免
-
管理中心数据搬迁 - 数据治理中心 DataArts Studio
管理中心数据搬迁 管理中心数据搬迁依赖于管理中心的资源迁移功能。 资源迁移支持迁移的资源包含数据服务、数据目录和管理中心数据连接。 约束与限制 资源导入可以基于OBS服务,也支持从本地导入。 名称相同的采集任务不支持被重复迁移。 名称相同的分类和标签不支持被重复迁移。 待导入的资
-
数据开发调用数据质量算子并且作业运行的时候需要传入质量参数 - 数据治理中心 DataArts Studio
据质量监控算子,将该节点拖入空白页面。并配置节点属性参数。 图2 配置Data_Quality_Monitor节点属性 配置调度周期。 图3 配置调度周期 提交版本并执行调度。 在“作业监控”查看作业运行日志。 图4 查看运行日志 父主题: 数据开发进阶实践
-
查询发布包列表 - 数据治理中心 DataArts Studio
"7b71e498e75d44048c9a22dd3c54f978", "apply_user_name": "ei_dlf_l00341563", "delete_flag": 0, "deploy_status": 3,