检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对于工作空间管理员角色,即使自定义角色与其权限点相同,也无法进行某些需要校验管理员角色的操作。例如全量导出数据服务API等。
跨空间进行作业调度 适用场景 当您已按照工作空间划分权限,不同空间用户只能操作本空间的作业。但是不同的工作空间之间的作业如果存在依赖关系,可参见本教程操作实现跨空间作业调度。
新建作业 作业由一个或多个节点组成,共同执行以完成对数据的一系列操作。开发作业前请先新建作业。 前提条件 作业在每个工作空间的最大配额为10000,作业目录最多5000个,目录层级最多为10层。请确保当前数量未达到最大配额。
待迁移的表在迁移过程中不能有写入,Split,Merge等操作。 使用华为云专线搭建CDH集群与华为云VPC之间的专属连接通道。 迁移流程 预估迁移数据量、迁移时间。 输出详细待迁移数据表、文件个数、大小,用于后续校验。 分批配置迁移任务,保证迁移进度与速度。
云审计服务 DataArts Studio使用云审计服务(Cloud Trace Service,简称CTS)审计用户在管理控制台页面的操作,可用于检视是否存在非法或越权操作,完善服务安全管理。
操作流程如下: 准备工作,包括使用DataArts Studio前的准备、数据源准备和数据湖准备。 数据开发,包含创建DLI SQL脚本和开发作业。
原因分析 已在工作空间中配置作业日志的桶目录的前提下,确认用户在IAM中的OBS权限是否具有对象存储服务(OBS)的全局权限,保证用户能够创建桶和操作桶。
质量作业创建完成后,可以对质量作业进行编辑、删除、运行、启动调度、停止调度等操作。 单次调度模式不支持启动调度。 运行单个质量作业 系统支持运行单个质量作业。 选择“数据质量监控 > 质量作业”,选择要运行的质量作业。 单击“操作”列的“运行”。
图1 实时作业监控 表1 实时作业监控支持的操作项 序号 支持的操作项 说明 1 根据“作业名称”、“责任人”、“CDM作业”或“节点类型”筛选作业 - 2 根据“运行状态”或“作业标签”筛选作业 - 3 批量配置作业 通过勾选作业名称前的复选框,支持批量执行操作(启动、停止、添加作业标签
数据架构对各类对象进行批量操作时,单次最多操作200个对象。 单工作空间中创建各类对象的配额如下: 主题5000个。 数据标准目录500条,个数20000个。 业务指标100000个。 原子指标、衍生指标、复合指标各5000条。
在您开启了云审计服务后,系统开始记录DataArts Studio的相关操作,云审计服务的管理控制台保存最近7天的操作记录。 前提条件 已开通云审计服务。开通方式请参见开通云审计服务。 操作步骤 登录管理控制台,在服务列表中选择“云审计服务 CTS”,进入云审计服务控制台。
DWS SQL 支持Insert into等DML操作产生的DWS表之间的血缘。 MRS Hive SQL 支持Insert into/overwrite等DML操作产生的MRS表之间的血缘。
发布是一个异步操作,您可以单击按钮刷新状态。表发布并通过审核后,系统会依据“配置中心 > 功能配置”页面中的“模型设计业务流程步骤”进行创建表、同步技术资产、同步业务资产等操作,在表的“同步状态”一列中将显示同步状态。 “同步状态”若均显示成功,则说明表发布成功。
对账作业创建完成后,可以对该对账作业进行编辑、删除、运行、启动调度、停止调度等操作。 单次调度模式不支持启动调度。 运行单个对账作业 系统支持运行单个对账作业。 选择“数据质量监控 > 对账作业”,选择要运行的对账作业。 单击“操作”列的“运行”。
审计数据访问日志 数据安全提供DWS、HIVE和DLI数据源上详细的数据操作日志记录,包括时间、用户、操作对象、操作类型等信息。通过这些日志,可以快速进行数据操作审计,更好地做到数据安全管控。
因此如果同时对表进行读和写操作时,会导致数据冲突、操作失败。 如果您需要对大数据服务数据表进行读表和写表操作,建议参考以下方式之一进行串行操作处理: 将读表和写表操作拆分为同一作业的不同节点,两个节点通过连线建立先后执行关系,避免同时执行冲突。
设置依赖作业的操作详情请参考配置作业调度任务(批处理作业)章节。 例如周期调度作业A,可设置其依赖作业为作业B,如图1所示进行配置。则仅当其依赖的作业B在某段时间内所有实例运行完成、且不存在失败实例时,才开始执行作业A。
Windows操作系统下,打开本地命令提示符框,输入如下命令,在本地生成已下载SDK包的SHA256值,其中,“D:\java-sdk.zip”为SDK包的本地存放路径和SDK包名,请根据实际情况修改。
概览 本章节汇总了基于Migration实时数据集成服务常见应用场景的操作指导,每个实践我们提供了详细的方案描述和操作指导,用于指导您快速实现数据库迁移和同步。
图2 新建集成作业(方式二) 离线处理作业的详细操作,请参见数据集成(离线作业)。 实时处理作业的详细操作,请参见数据集成(实时作业)。 父主题: 数据开发