-
获取SQL节点的输出结果值 - 数据治理中心 DataArts Studio
current[0]}和#{Loop.current[1]}。 图5 主作业样例 而For Each节点中所选的子作业,则需要定义For Each节点中的子作业参数名,以便让主作业识别参数定义,作业如图6所示。 图6 子作业样例 配置方法 开发子作业 登录DataArts Stu
-
配置环境变量 - 数据治理中心 DataArts Studio
出导入后需要重新进行配置。 常量是指在不同的空间下都是一样的,导入的时候,不需要重新配置值。 图2 环境变量配置 表1 环境变量参数配置 参数 是否必选 说明 参数名称 是 只支持英文字母、数字、“-”、“_”,最大长度为64字符,且参数名称不允许重名。 参数名称需根据脚本变量定
-
开发Pipeline作业 - 数据治理中心 DataArts Studio
理作业的名称,进入作业开发页面。 拖动所需的节点至画布,鼠标移动到节点图标上,选中连线图标并拖动,连接到下一个节点上。 每个作业建议最多包含200个节点。 图1 编排作业 配置节点功能。右键单击画布中的节点图标,根据实际需要选择如表1所示的功能。 表1 右键节点功能 功能 说明 配置
-
管理配置中心 - 数据治理中心 DataArts Studio
在有多个指标的情况下,可以通过操作列调整指标的排序。单击图标可进行指标的上移或者下移,双击图标可以输入序号将当前行移动到指定位置。 图13 调整指标排序 图14 移动到指定位置 删除指标 如果需要删除自定义指标,单击操作列的图标就可删除该指标。 图15 删除指标 完成自定义指标的设置后,在新
-
调试API - 数据治理中心 DataArts Studio
Content-Type 是 String 消息体的类型(格式),有Body体的情况下必选,没有Body体无需填写。如果请求消息体中含有中文字符,则需要通过charset=utf8指定中文字符集,例如取值为:application/json;charset=utf8。 表3 请求Body参数 参数 是否必选
-
创建并管理工作空间 - 数据治理中心 DataArts Studio
”页签,单击“新建”,在空间信息页面请根据页面提示配置参数,参数说明如表1所示。 图1 新建空间 表1 新建空间参数说明 参数名 说明 空间名称 空间名称,只能包含字母、数字、下划线、中划线、中文字符,且长度不超过32个字符。在当前的DataArts Studio实例中,工作空间名称必须唯一。
-
创建简单模式工作空间 - 数据治理中心 DataArts Studio
”页签,单击“新建”,在空间信息页面请根据页面提示配置参数,参数说明如表1所示。 图1 新建空间 表1 新建空间参数说明 参数名 说明 空间名称 空间名称,只能包含字母、数字、下划线、中划线、中文字符,且长度不超过32个字符。在当前的DataArts Studio实例中,工作空间名称必须唯一。
-
配置队列权限 - 数据治理中心 DataArts Studio
为更好地识别队列权限,此处加以描述信息。 图3 添加队列资源 单击队列权限目录中的队列,进入队列详情页面。 其中MRS Yarn队列可配置队列属性,主要应用于数据开发服务中的任务管理。实时队列用于运行实时作业,离线队列用于运行批处理作业,默认即不区分队列的作业类型。 图4 MRS
-
新建数据质量作业 - 数据治理中心 DataArts Studio
34个字符。 选择“数据质量监控 > 质量作业”,选择要导出的质量作业。 图5 导出 单击“导出”,弹出“导出质量作业”对话框。 图6 导出质量作业 切换到“导出记录”页签,可查看当前任务的导出结果。 图7 导出记录 在导出文件列表中,单击最新导出文件对应的“下载”,可将质量作业的Excel表格下载到本地。
-
配置权限集 - 数据治理中心 DataArts Studio
权限不会大于当前权限集。 描述 为更好地识别权限集,此处加以描述信息。 图3 创建权限集配置 配置权限集 在DataArts Studio控制台首页,选择实例,单击“进入控制台”,选择对应工作空间的“数据安全”模块,进入数据安全页面。 图4 选择数据安全 单击数据安全左侧导航树中的“权限集”,进入权限集页面。
-
同步MRS Hive和Hetu权限 - 数据治理中心 DataArts Studio
空间的“数据安全”模块,进入数据安全页面。 图1 选择数据安全 单击左侧导航树中的“hetu权限同步”,进入hetu权限同步页面。 图2 进入hetu权限同步页面 单击“新建”,进入新建hetu权限同步策略页面,参数配置参考表1。 图3 新建hetu权限同步策略参数配置 创建hetu权限同步策略参数配置说明:
-
配置空间权限集 - 数据治理中心 DataArts Studio
不会大于当前权限集。 描述 为更好地识别权限集,此处加以描述信息。 图3 创建空间权限集配置 配置空间权限集 在DataArts Studio控制台首页,选择实例,单击“进入控制台”,选择对应工作空间的“数据安全”模块,进入数据安全页面。 图4 选择数据安全 单击数据安全左侧导航
-
ORACLE数据连接参数说明 - 数据治理中心 DataArts Studio
数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件 是 选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。
-
开发一个Python作业 - 数据治理中心 DataArts Studio
print(context2) 图3中的脚本开发区为临时调试区,关闭脚本页签后,开发区的内容将丢失。 主机连接:建立主机数据连接中创建的连接。 图3 编辑Python语句 单击“保存”,并提交版本。 单击“运行”执行Python语句。 查看脚本运行结果。 图4 查看脚本运行结果 在作业中引用Python脚本
-
创建数据集成作业 - 数据治理中心 DataArts Studio
移后自动导入GES图数据。 其他高级属性无需配置,单击“下一步”。 图14 vertex_user_rds2obs作业基础配置 图15 vertex_user_rds2obs作业高级配置 在字段映射中,根据GES图数据的要求,此处需要新增字段label,作为图文件的标签。 ver
-
数据服务简介 - 数据治理中心 DataArts Studio
据安全进行权限管控、敏感数据识别、数据脱敏、数据水印等手段保护数据安全。 数据服务采用Serverless架构,您只需关注API本身的查询逻辑,无需关心运行环境等基础设施,数据服务会为您准备好计算资源,并支持弹性扩展,零运维成本。 图1 数据服务架构图 API开放方使用流程 您作
-
Import GES - 数据治理中心 DataArts Studio
GES节点分别导入,以确保导入图数据时,元数据与每对点表和边表能够一一对应。 图1 新建元数据 边数据集 否 可以直接选择对应的OBS桶中的边数据集csv文件,也支持选择对应的边数据集的OBS路径。 点数据集和边数据集应符合GES图数据格式要求。图数据格式要求简要介绍如下,详情可参见一般图数据格式。
-
数据治理中心 DataArts Studio - 数据治理中心 DataArts Studio
业务指标监控 数据质量监控 使用教程 数据目录 数据地图 数据权限 元数据采集 使用教程 数据服务 准备工作 创建API 调试API 发布API 管理API 流量控制 调用API 审核中心 数据安全 访问权限管理2.0 敏感数据识别 隐私保护管理 常见问题 了解更多常见问题、案例和解决方案
-
管理作业标签 - 数据治理中心 DataArts Studio
所有标签导出。 导出选中标签:勾选本页需要导出的标签,单击标签列表上方的“导出选中标签”,可将本页选中的标签导出。 导出的作业标签如下图所示: 图1 导出作业标签 导出的作业标签表格中,第一行为标签名称,第一列为作业名称。某作业具有某一标签,记录为1,否则记录为0。 导出的文件第
-
API概览 - 数据治理中心 DataArts Studio
可实现关联、移除资产密级等操作。 资产信息 可实现查询资产概要等操作。 元数据采集任务接口 可实现资产采集任务相关的操作。 数据地图接口 可实现数据地图组件的相关操作。 元数据实时同步 可进行元数据实时同步的相关操作。 数据服务接口 表7 数据服务接口说明 类型 说明 API管理