-
步骤6:数据开发 - 数据治理中心 DataArts Studio
右键单击作业目录,在弹出菜单中单击“新建作业”。 图5 作业 在弹出弹框中输入“作业名称”如demo_taxi_trip_data,“作业类型”选择“批处理”,其他参数保留默认值,单击“确定”完成批作业创建。 图6 新建批处理作业 如下图所示,编排批作业。 图7 编排作业 每个节点配置如下: source_sdi节点:为CDM
-
数据安全概述 - 数据治理中心 DataArts Studio
数据安全可满足不同角色(如数据开发工程师,数据安全管理员,数据安全审计员和数据安全运营人员)对数据安全和数据治理的诉求,不同角色用户使用数据安全的场景如图2所示。 图2 用户使用场景图 特点优势 数据安全融合了不同的大数据服务进行统一入口管理,包括MRS、DWS、DLI,统一的权限配置入口能力,提高了易用性和可维护性。
-
支持的数据类型 - 数据治理中心 DataArts Studio
与text类型作用相同,为长度可变的非Unicode数据。 不支持(String) 不支持(String) 不支持 image 长度可变的二进制数据,用于存储照片、目录图片或者图画。 不支持(String) 不支持(String) 不支持 binary 长度为n个字节的固定长度二进制数据,其中n是从1~8000的值。
-
转移作业责任人 - 数据治理中心 DataArts Studio
在作业目录顶部,单击,选择“责任人转移”。 图1 责任人转移 分别设置“当前责任人”和“目标责任人”,单击“转移”。 提示转移成功后,单击“关闭”。 相关操作 您还可以根据作业责任人筛选作业,在作业目录上方的搜索框输入责任人,单击放大镜图标,如下图所示。 图2 根据作业责任人筛选作业 父主题:
-
转移脚本责任人 - 数据治理中心 DataArts Studio
在脚本目录顶部,单击,选择“责任人转移”。 图1 责任人转移 分别设置“当前责任人”和“目标责任人”,单击“转移”。 提示转移成功后,单击“关闭”。 相关操作 您可以根据脚本责任人筛选脚本,在脚本目录上方的搜索框输入责任人,单击放大镜图标,如下图所示。 图2 根据脚本责任人筛选脚本 父主题:
-
新建规则 - 数据治理中心 DataArts Studio
> 空间管理 > 数据质量 > 业务指标监控 > 规则管理”页面创建归属目录。基于指标创建业务规则,需要选择规则归属目录,请参见图1创建归属目录。 图1 新建规则的归属目录 表1 导航栏按键说明 序号 说明 1 新建目录。 2 刷新目录。 3 选择全部,单击右键,可新建目录、重命名目录和删除目录。
-
查看作业实例 - 数据治理中心 DataArts Studio
管理区域 可以对所选实例进行导出、删除、停止运行的操作。 4 搜索区域 可以选择性的展示规则实例,例如运行的开始时间和结束时间处于某一时间区间实例。 根据处理人、实例名称进行搜索展示规则实例的列表信息,输入内容支持模糊搜索。 5 SQL并发数配置 单击SQL框,进入“单连接SQL并
-
新建业务场景 - 数据治理中心 DataArts Studio
空间管理 > 数据质量 > 业务指标监控 > 业务场景管理”页面创建归属目录。基于规则创建业务场景,需要选择业务场景归属目录,请参见图1创建归属目录。 图1 新建业务场景的归属目录 表1 导航栏按键说明 序号 说明 1 新建目录。 2 刷新目录。 3 选择全部,单击右键,可新建目录、重命名目录和删除目录。
-
数据治理模块域 - 数据治理中心 DataArts Studio
业级的元数据管理中心、建立数据资产目录、建立数据搜索引擎、实现数据血缘和数据全景可视。其中元数据包括业务元数据、技术元数据和操作元数据,要求将企业所有概念数据模型、逻辑数据模型以及物理数据模型系统化地管理起来,同时建设企业数据地图及数据血缘关系,为数据调用、数据服务、数据运营及运维提供强有力的信息支撑。
-
诊断数据安全风险 - 数据治理中心 DataArts Studio
安全页面。 图2 选择数据安全 单击左侧导航树中的“数据安全诊断”,进入数据安全诊断页面。 图3 数据安全诊断 根据需要,选择敏感数据保护、数据权限控制或数据源保护页签,单击“开始扫描”或“重新扫描”,进行安全诊断。 扫描结束后,请您根据安全扫描结果和处理建议,识别风险项并单击“
-
数据架构概述 - 数据治理中心 DataArts Studio
数据架构”模块,进入数据架构页面,查看“信息架构”。 在信息架构页面,可以执行以下操作: 搜索 在“信息架构”列表右上方,单击“高级搜索”,设置表名、类型、数据源等筛选条件,然后单击“搜索”可以查找指定的表,单击“表名称”,可以进入表的详情页面,查看表的详细信息。 新建 单击“新
-
查看业务场景实例 - 数据治理中心 DataArts Studio
业务场景实例列表 展示实例名称、运行状态、运行结果等信息。 4 搜索区域 可以选择性的展示业务场景实例,例如运行的开始时间和结束时间处于某一时间区间业务场景。 根据处理人、创建人、实例名称进行筛选展示业务场景实例的列表信息,输入内容支持模糊搜索。 表2 业务场景实例列表说明 菜单/按键 说明 运行状态
-
新建指标 - 数据治理中心 DataArts Studio
> 空间管理 > 数据质量 > 业务指标监控 > 指标管理”页面创建归属目录。基于某个数据连接创建指标,需要选择指标目录,请参见图1创建归属目录。 图1 新建指标的归属目录 表1 导航栏按键说明 序号 说明 1 新建目录。 2 刷新目录。 3 选择全部,单击右键,可新建目录、重命名目录和删除目录。
-
DMS Kafka连接 - 数据治理中心 DataArts Studio
Kafka连接 介绍 通过DMS Kafka连接,可以连接DMS Kafka普通队列或者专享版Kafka。目前仅支持从DMS Kafka导出数据到云搜索服务。 连接样例 { "links": [ { "link-config-values": { "configs":
-
新建质量作业 - 数据治理中心 DataArts Studio
34个字符。 选择“数据质量监控 > 质量作业”,选择要导出的质量作业。 图5 导出 单击“导出”,弹出“导出质量作业”对话框。 图6 导出质量作业 切换到“导出记录”页签,可查看当前任务的导出结果。 图7 导出记录 在导出文件列表中,单击最新导出文件对应的“下载”,可将质量作业的Excel表格下载到本地。
-
新建表/文件迁移作业 - 数据治理中心 DataArts Studio
数据接入服务(DIS) 仅支持导出数据到云搜索服务。 参见配置DIS源端参数。 Apache Kafka DMS Kafka MRS Kafka 仅支持导出数据到云搜索服务。 参见配置Kafka/DMS Kafka源端参数。 云搜索服务 Elasticsearch 支持从云搜索服务或Elasticsearch导出数据。
-
配置资源权限 - 数据治理中心 DataArts Studio
ger服务端口是否正确。 图2 资源权限配置页面 单击待创建权限策略HDFS组件下“hacluster”的“配置” ,进入配置界面单击“创建”,新建权限策略。 图3 新建权限策略 在弹出的策略配置页配置相关参数,配置完成单击“确定”,策略配置完成。 图4 配置权限策略 表2 配置HDFS权限策略参数说明
-
查看日志时,系统提示“OBS日志文件不存在,请检查文件是否被删除或者没有OBS写入权限。”怎么办? - 数据治理中心 DataArts Studio
查看用户所属的用户组。 图2 用户所属的用户组 在左侧导航窗格中,选择“用户组”,单击用户所属的用户组后面“操作”列的“授权”。 在授权界面,选择需要给用户组添加的权限,搜索需要的权限名称,请配置为OBS OperateAccess或OBS Administrator。 图3 给用户组授权
-
批量配置作业 - 数据治理中心 DataArts Studio
在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 单击作业目录中的,选择“显示复选框”。 图1 显示作业复选框 勾选需要批量配置的作业,单击 > 作业配置。 图2 作业配置菜单 配置作业的通用项。 图3 通用配置 表1 通用配置 参数 说明 节点状态轮询时间 设置所选作业的所有节点轮询
-
配置角色 - 数据治理中心 DataArts Studio
权限集。 描述 为更好地识别权限集,此处加以描述信息。 图3 创建通用角色 基本信息:在角色详情页面,基本信息区域可以查看角色名称、ID、管理员等信息,详见图4。 另外,还可以在配置完角色和权限后,通过右上角的“权限同步”和“角色信息同步”进行同步。 图4 角色基本信息 数据源角