-
创建数据集成作业 - 数据治理中心 DataArts Studio
移后自动导入GES图数据。 其他高级属性无需配置,单击“下一步”。 图15 vertex_user_rds2obs作业基础配置 图16 vertex_user_rds2obs作业高级配置 在字段映射中,根据GES图数据的要求,此处需要新增字段label,作为图文件的标签。 ver
-
准备工作 - 数据治理中心 DataArts Studio
BS桶与DataArts Studio实例中的CDM集群的所在区域保持一致,企业项目也应相同。 您需要在图引擎GES服务控制台,创建一个图,用于将图数据导入其中,并进行可视化图形分析。GES与DataArts Studio实例中的CDM集群的所在区域保持一致,企业项目也应相同。 数据源准备
-
开发并调度Import GES作业 - 数据治理中心 DataArts Studio
于标准化点/边数据集,自动生成图的元数据,实现最终将图数据(点数据集、边数据集和元数据)定期导入到GES服务中。 图1 业务场景说明 开发并调度Import GES作业 假设MySQL中的原始数据表是每日更新的,我们希望每天都能将基于原始数据的最新图数据更新到GES中,则需要使用
-
创建或修改资产(邀测) - 数据治理中心 DataArts Studio
Unauthorized。 403 Forbidden。 404 Not Found。 500 InternalServerError。 父主题: 数据地图接口
-
配置数据血缘 - 数据治理中心 DataArts Studio
单击作业画布中的MRS Spark节点,并切换到“血缘关系”页签。 图2 进入血缘关系页签 在MRS Spark节点的“血缘关系”页签,手动配置血缘的输入表。假如MRS Spark作业中的输入表为“hive”,则血缘输入配置如图3所示。 图3 配置血缘输入 完成血缘的输入表配置后,单击确定,继续配置血缘的输出表。假如MRS
-
数据治理模块域 - 数据治理中心 DataArts Studio
业级的元数据管理中心、建立数据资产目录、建立数据搜索引擎、实现数据血缘和数据全景可视。其中元数据包括业务元数据、技术元数据和操作元数据,要求将企业所有概念数据模型、逻辑数据模型以及物理数据模型系统化地管理起来,同时建设企业数据地图及数据血缘关系,为数据调用、数据服务、数据运营及运维提供强有力的信息支撑。
-
表关联作业算子列表(邀测) - 数据治理中心 DataArts Studio
Unauthorized。 403 Forbidden。 404 Not Found。 500 InternalServerError。 父主题: 数据地图接口
-
配置Elasticsearch/云搜索服务源端参数 - 数据治理中心 DataArts Studio
配置Elasticsearch/云搜索服务源端参数 作业中源连接为配置Elasticsearch连接或配置云搜索服务(CSS)连接时,源端作业参数如表1所示。 表1 Elasticsearch/云搜索服务作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 索引 El
-
数据分类 - 数据治理中心 DataArts Studio
分类类型选择“自定义”,呈现此参数,支持正则表达式。 正则表达式 内容识别:提供的数据识别方式之一,自定义正则表达式。 列名识别:提供字段名精确匹配和模糊匹配方式,支持多个字段匹配。 描述 对当前规则进行简单描述。 新建分组 在DataArts Studio控制台首页,选择实例,单击“进入控制台”,选择对应工作
-
数据血缘方案概述 - 数据治理中心 DataArts Studio
了新的数据,不同程度的描述信息形成了数据的层次。 DataArts Studio生成的血缘关系图如图1所示,为数据表对象,为作业节点对象,通过对象和箭头的编排表示血缘信息。从血缘关系图中可以看到,wk_02表数据是由wk_01表数据经过hive_1作业节点加工而生成的,wk_02
-
Elasticsearch/云搜索服务(CSS)连接 - 数据治理中心 DataArts Studio
Elasticsearch/云搜索服务(CSS)连接 介绍 通过Elasticsearch连接,可以对Elasticsearch服务器或云搜索服务抽取、加载数据。 连接样例 { "links": [ { "link-config-values": {
-
源端为Elasticsearch/云搜索服务 - 数据治理中心 DataArts Studio
源端为Elasticsearch/云搜索服务 JSON样例 "from-config-values": { "configs": [ { "inputs": [
-
溯源数据水印 - 数据治理中心 DataArts Studio
作空间的“数据安全”模块,进入数据安全页面。 图1 选择数据安全 单击左侧导航树中的“数据水印溯源”,进入数据水印溯源页面,在页面上方单击“新建”。 图2 创建数据水印溯源任务 在弹出的创建任务页面输入信息,参数配置请参考表1。 图3 创建数据水印溯源任务 表1 水印溯源任务参数描述
-
管理集群标签 - 数据治理中心 DataArts Studio
理”,进入集群管理界面。 图1 集群列表 “创建来源”列仅通过DataArts Studio服务进入数据集成界面可以看到。 单击集群名称后,选择“标签”页签。 图2 修改集群配置 单击“添加/编辑标签”,通过添加、修改标签为CDM集群设置资源标识。 图3 添加标签 一个集群最多可添加10个标签。
-
定义数据分类 - 数据治理中心 DataArts Studio
排斥的关系,使数据更清晰。本章主要介绍如何定义数据分类。 值得注意的是,数据密级、数据分类和识别规则,均为DataArts Studio实例级别配置,各工作空间之间数据互通。这样在数据地图组件中,就可以根据一套标准的分级分类管理对数据进行统一管理。 约束与限制 当前数据分类的最大层级数默认为5层,最大配额1000个。
-
查看数据血缘 - 数据治理中心 DataArts Studio
点的血缘信息。 单击血缘图中节点左右两端“+”、“-”图标,可以进一步展开查看血缘的上下链路。 单击血缘图中的某一个节点,可以查看该节点的详情。 进入“作业”页签,单击“编辑”可跳转到数据开发的作业编辑页面。 图5 查看节点血缘 在数据资产搜索结果中,图标为表格的数据资产为表,单
-
CSS - 数据治理中心 DataArts Studio
CSS 功能 通过CSS节点执行云搜索请求,实现在线分布式搜索功能。 参数 用户可参考表1和表2配置CSS节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。
-
配置Elasticsearch/云搜索服务(CSS)目的端参数 - 数据治理中心 DataArts Studio
配置Elasticsearch/云搜索服务(CSS)目的端参数 作业中目的连接为配置Elasticsearch连接或配置云搜索服务(CSS)连接时,即将数据导入到Elasticsearch/云搜索服务(CSS)时,目的端作业参数如表1所示。 表/文件迁移和整库迁移时需配置的参数不
-
配置队列权限 - 数据治理中心 DataArts Studio
为更好地识别队列权限,此处加以描述信息。 图3 添加队列资源 单击队列权限目录中的队列,进入队列详情页面。 其中MRS Yarn队列可配置队列属性,主要应用于数据开发服务中的任务管理。实时队列用于运行实时作业,离线队列用于运行批处理作业,默认即不区分队列的作业类型。 图4 MRS
-
脱敏策略 - 数据治理中心 DataArts Studio
Studio控制台首页,选择实例,单击“进入控制台”,选择对应工作空间的“数据目录”模块,进入数据目录页面。 选择“数据地图 > 数据目录”。 在资产搜索结果列表,搜索脱敏后的数据表,进入数据表详情页面。 单击“数据预览”,查看数据脱敏后的效果。 父主题: 数据安全(待下线)