-
实时作业监控 - 数据治理中心 DataArts Studio
后,可以通过“更多 > 查看日志”一键跳转到日志查看页面查看Flink作业日志。 说明: MRS集群版本为不支持时,界面不显示查看日志,则系统不支持通过一键跳转查看日志。 单击作业名称,在打开的页面中查看该作业的作业参数、作业属性、作业实例。 单击作业的某个节点,可以查看节点属性、脚本内容、节点监控信息。
-
数据血缘方案概述 - 数据治理中心 DataArts Studio
方式。一般推荐使用自动血缘解析的方式,无需手动配置即可生成血缘关系,在不支持自动血缘解析的场景下,再手动配置血缘关系。 自动血缘解析,是由系统解析数据开发作业中的数据处理和数据迁移类型节点后自动产生的,无需进行手动配置。支持自动血缘解析的节点类型和场景请参见自动血缘解析。 手动配
-
配置Hive源端参数 - 数据治理中心 DataArts Studio
详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 TBL_E 读取方式 包括HDFS和
-
管理动态水印策略 - 数据治理中心 DataArts Studio
管理动态水印策略 动态水印指在数据的访问过程中,动态地在数据的查询访问请求返回结果集中注入水印的方式。本章主要介绍如何实现数据开发动态水印功能,最终在数据开发组件中转储或下载敏感数据时,系统动态注入数据水印。 在数据安全组件开启数据开发动态水印功能并创建动态水印策略后,当策略中指
-
导出导入作业 - 数据治理中心 DataArts Studio
的作业文件,最大支持1Mb。 如果导入的作业在系统中有重名时,需要确保系统中该作业状态为“停止”时,才能导入成功。 在作业目录中导入一个或多个作业 参考访问DataArts Studio实例控制台登录DataArts Studio管理控制台。 在DataArts Studio控制
-
案例:搭建实时报警平台 - 数据治理中心 DataArts Studio
警平台,该平台将应用多个云服务,结合数据开发模块的作业编辑和作业调度功能来实现。 假设客户有一个数据中心部署了很多应用,需要建立统一的运维系统,实时接收应用的告警信息。 当告警级别达到严重及以上级别时,向用户发送一条消息。 每天提供一个运维报表,统计各应用的告警级别数据。 为解决以上场景的需求,我们设计了如下方案:
-
权限管理 - 数据治理中心 DataArts Studio
自定义角色,每种角色的介绍如下,具体操作权限请参见权限列表。 管理员:工作空间管理员,拥有工作空间内所有的业务操作权限。建议将项目负责人、开发责任人、运维管理员设置为管理员角色。 开发者:开发者拥有工作空间内创建、管理工作项的业务操作权限。建议将任务开发、任务处理的用户设置为开发者。
-
管理通知 - 数据治理中心 DataArts Studio
在数据开发主界面的左侧导航栏,选择“运维调度 > 通知管理”。 在页面右侧选择“通知管理”页签。 在通知的“开关”列,单击,切换成时,通知为关闭状态。 查看通知记录 用户可以在通知记录中查看所有的通知信息。 在数据开发主界面的左侧导航栏,选择“运维调度 > 通知管理”。 在页面右侧选择“通知记录”页
-
管理集群配置 - 数据治理中心 DataArts Studio
Keytab文件在仅安全模式集群下使用,普通模式集群下无需准备Keytab文件。 操作步骤 进入CDM主界面,进入集群管理界面。选择CDM集群后的“作业管理 > 连接管理 > 集群配置管理”。 在集群配置管理界面,选择“新建集群配置”,配置参数填写如下: 图2 新建集群配置 集群配置名:根据连接的数据源
-
DataArts Studio支持的数据源 - 数据治理中心 DataArts Studio
ORACLE ORACLE数据库系统是以分布式数据库为核心的一组软件产品,是目前最流行的客户/服务器(CLIENT/SERVER)或B/S体系结构的数据库之一。 ORACLE数据库是目前世界上使用最为广泛的数据库管理系统,作为一个通用的数据库系统,它具有完整的数据管理功能;作为一个关系数据
-
作业开发流程 - 数据治理中心 DataArts Studio
提交版本并解锁,提交版本并解锁后才能用于调度运行,便于其他开发者修改。具体请参见提交版本。 (可选)管理作业:作业开发完成后,您可以根据需要,进行作业管理。具体请参见(可选)管理作业。 发布作业。企业模式下需要发布作业,具体请参见发布作业任务。 父主题: 作业开发
-
配置主机连接 - 数据治理中心 DataArts Studio
Studio支持的数据源。 基础与网络连通配置 主机地址 是 Linux操作系统主机的IP地址。 请参考“查看云服务器详细信息”获取。 绑定Agent 是 选择CDM集群,CDM集群提供Agent。 说明: CDM集群作为管理中心数据连接Agent时,单集群的并发活动线程最大为200。即当
-
管理配置中心 - 数据治理中心 DataArts Studio
模型设计业务流程步骤:此处勾选的流程,在关系建模或维度建模的对象发布上线时,系统会依次自动执行。一般建议全部勾选。 创建表:当数据架构中的表发布并通过审核后,系统将自动在对应的数据源中创建相应的物理表。在表删除时,系统也会自动删除物理表。 同步技术资产:关系建模或维度建模中的表发布后,同
-
示例场景说明 - 数据治理中心 DataArts Studio
可以学习到数据开发模块脚本编辑、作业编辑、作业调度等功能,以及DLI的SQL基本语法。 本入门示例涉及DataArts Studio服务的管理中心和数据开发模块,DataArts Studio的各版本均可以满足使用要求。 如果您从未使用过DataArts Studio,您可以选择试用DataArts
-
数据权限简介 - 数据治理中心 DataArts Studio
表权限对应人员,进行审计管理。 权限回收/交还:管理员可以通过用户权限管理及时回收用户权限,用户也可以主动交还不再需要的权限。 权限审批管理:提供可视化、流程化的管理授权机制,以及对审批流程进行事后追溯。 父主题: 数据权限
-
与其他云服务的关系 - 数据治理中心 DataArts Studio
DataArts Studio使用云审计服务(Cloud Trace Service,简称CTS)审计用户在管理控制台页面的操作,可用于检视是否存在非法或越权操作,完善服务安全管理。 弹性云服务器服务 DataArts Studio使用弹性云服务器(Elastic Cloud Ser
-
管理文件水印 - 数据治理中心 DataArts Studio
文件查看效果。 结构化数据 *水印内容 系统会将水印标识嵌入到数据表中,标识长度不超过16个字符即可。 *数据选择 结构化数据仅支持csv、xml和json格式文件。 *选择注入字段 选择需要注入水印的字段。 非结构化数据 *水印内容 系统会将水印标识嵌入到数据表中,标识长度不超过16个字符即可。
-
如何在IAM中创建细粒度权限策略? - 数据治理中心 DataArts Studio
工作空间角色决定了该用户在工作空间内的权限,当前有管理员、开发者、运维者和访客这四种预置角色可被分配,您也可以自定义角色进行更精细化的权限管理。各角色权限的详细说明请参见权限列表章节。 管理员:工作空间管理员,拥有工作空间内所有的业务操作权限。建议将项目负责人、开发责任人、运维管理员设置为管理员角色。 开发者:
-
配置OBS桶 - 数据治理中心 DataArts Studio
S桶。 约束限制 OBS路径仅支持OBS桶,不支持并行文件系统。 配置方法 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。 选择“OBS桶”。 配置OBS桶的信息。 图1
-
如何查看审计日志 - 数据治理中心 DataArts Studio
问题定位等常见应用场景。 在您开启了云审计服务后,系统开始记录DataArts Studio的相关操作,云审计服务的管理控制台保存最近7天的操作记录。 前提条件 已开通云审计服务。开通方式请参见开通云审计服务。 操作步骤 登录管理控制台,在服务列表中选择“云审计服务 CTS”,进入云审计服务控制台。