检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用调度所配置的周期性运行时间时,被自动调度起来的实例快照。 周期任务每调度一次,便生成一个实例工作流。您可以对已调度起的实例任务进行日常的运维管理,如查看运行状态,对任务进行终止、重跑等操作。 只有支持委托提交作业的MRS集群,才支持对账作业周期调度。 支持委托方式提交作业的MRS集群有:
通过单击作业开发页面导航栏的“前往监控”按钮,可前往作业监控页面查看运行情况、监控日志等信息,并配置对应的告警规则,详情请参见实时集成任务运维。 图14 前往监控 性能调优 若链路同步速度过慢,可参考参见任务性能调优章节中对应链路文档进行排查及处理。 父主题: 使用教程
新冠疫情数据治理思考 中共中央政治局常务委员会2020年2月3日召开会议强调:这次疫情是对我国治理体系和能力的一次大考。全民抗疫的过程中,缺乏有效数据支持就是缺乏对于疫情的快速响应机制、缺乏对于医疗资源合理调配的能力。 通过数据治理,我们可以构建开放通用的数据采集接口,提高数据采
通过单击作业开发页面导航栏的“前往监控”按钮,可前往作业监控页面查看运行情况、监控日志等信息,并配置对应的告警规则,详情请参见实时集成任务运维。 图10 前往监控 性能调优 若链路同步速度过慢,可参考参见任务性能调优章节中对应链路文档进行排查及处理。 父主题: 使用教程
通过单击作业开发页面导航栏的“前往监控”按钮,可前往作业监控页面查看运行情况、监控日志等信息,并配置对应的告警规则,详情请参见实时集成任务运维。 图13 前往监控 性能调优 若链路同步速度过慢,可参考参见任务性能调优章节中对应链路文档进行排查及处理。 父主题: 使用教程
购买数据集成资源组增量包 数据集成资源组增量包对应数据集成实时作业所需的资源组。数据集成资源组提供数据上云和数据入湖出湖的集成能力,全向导式配置和管理,支持单表、整库、分库分表、全量+增量及增量同步等不同场景的数据迁移。 通过购买一个按需计费方式的数据集成资源组增量包,系统会按照
通过单击作业开发页面导航栏的“前往监控”按钮,可前往作业监控页面查看运行情况、监控日志等信息,并配置对应的告警规则,详情请参见实时集成任务运维。 图15 前往监控 性能调优 若链路同步速度过慢,可参考参见任务性能调优章节中对应链路文档进行排查及处理。 父主题: 使用教程
DataArts Studio支持的数据源 在使用DataArts Studio前,您需要根据业务场景选择符合需求的云服务或数据库作为数据底座,由数据底座提供存储和计算的能力,DataArts Studio基于数据底座进行一站式数据开发、治理和服务。 DataArts Studio支持的数据源
调度所配置的周期性运行时间时,被自动调度起来的实例快照。 周期任务每调度一次,便生成一个实例工作流。用户可以对已调度起的实例任务进行日常的运维管理,如查看运行状态,对任务进行终止、重跑等操作。 表5 配置周期调度参数 参数名 说明 生效日期 调度任务的生效时间段。 调度周期 选择调度任务的执行周期,并配置相关参数。
外部接口(高级特性) 外部接口用于对接第三方平台的接口,当前支持加密接口和通知接口。 加密类型:主要用于在数据开发导入数据文件时,根据数据入湖检测规则实时发现敏感数据后,调用外部接口所对接的的第三方平台加密算法对文件数据进行加密处理。 消息通知类型:主要用于配置权限到期提醒时,通
数据治理模块域 数据治理主要专注于如下模块域: 数据集成 数据集成用来完成数据入湖动作,不是简单的数据搬家,而是按照一定的方法论进行数据备份。数据入湖的前提条件是满足6项数据标准,包括:明确数据Owner、发布数据标准、定义数据密级、明确数据源、数据质量评估、元数据注册。此标准由
通过单击作业开发页面导航栏的“前往监控”按钮,可前往作业监控页面查看运行情况、监控日志等信息,并配置对应的告警规则,详情请参见实时集成任务运维。 图12 前往监控 性能调优 若链路同步速度过慢,可参考参见任务性能调优章节中对应链路文档进行排查及处理。 父主题: 使用教程
Oracle数据迁移到云搜索服务 操作场景 云搜索服务(Cloud Search Service)为用户提供结构化、非结构化文本的多条件检索、统计、报表,本章节介绍如何通过CDM将数据从Oracle迁移到云搜索服务中,流程如下: 创建CDM集群并绑定EIP 创建云搜索服务连接 创建Oracle连接
Studio底层计算引擎配置的管理能力。为实现多角色协同开发,管理员可将相关用户加入到工作空间,并赋予DataArts Studio预设的项目管理员、开发者、运维者、访客等角色,其他账号也只有在加入工作空间并被分配权限后,才可具备管理中心、数据集成、数据架构、数据开发、数据目录、数据质量、数据服务、数据安全组件的操作权限。
订阅动态脱敏策略 通过动态脱敏订阅,数据安全可以实现同步第三方平台的动态脱敏策略。 第三方平台的动态脱敏策略发布到Kafka消息队列后,数据安全进行订阅和消费。消息格式满足要求时,待消息消费成功后,数据安全会生成动态脱敏策略(策略名为Kafka消息中的策略名)并同步到MRS Ranger组件中生效。
用调度所配置的周期性运行时间时,被自动调度起来的实例快照。 周期任务每调度一次,便生成一个实例工作流。您可以对已调度起的实例任务进行日常的运维管理,如查看运行状态,对任务进行终止、重跑等操作。 只有支持委托提交作业的MRS集群,才支持质量作业周期调度。 支持委托方式提交作业的MRS集群有:
管理密钥(高级特性) 管理密钥用于存储密钥的信息。 密钥可用于如下场景: 数据集成(离线作业)进行表数据迁移时,在“敏感数据检测”发现敏感数据后,如果需要通过转换器进行加密,则要从数据安全获取密钥信息,详见配置离线处理集成作业。 在数据安全进行文件加密时,需要获取密钥信息,详见文件加密(高级特性)。
如何选择增量包 DataArts Studio采用基础包+增量包的计费模式。如果购买的基础包无法满足您的使用需求,则您需要额外购买增量包。 DataArts Studio增量包 当前DataArts Studio支持的增量包如表1所示。 表1 增量包介绍 增量包类型 增量包说明 购买场景说明
文件水印 本章主要介绍如何进行文件水印相关操作。 对结构化数据文件(csv、xml和json)注入暗水印,水印内容不可见,需要进行水印提取。 对非结构化数据文件(docx、pptx、xlsx和pdf)注入明水印,可在本地打开文件,查看水印内容。 约束与限制 结构化数据文件暗水印的
步骤2:数据准备 使用DataArts Studio前的准备 如果您是第一次使用DataArts Studio,请参考购买并配置DataArts Studio章节完成注册华为账号、购买DataArts Studio实例(DataArts Studio企业版)、创建工作空间等一系列