检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SDI:Source Data Integration,又称贴源数据层。SDI是源系统数据的简单落地。 DWI:Data Warehouse Integration,又称数据整合层。DWI整合多个源系统数据,对源系统进来的数据进行整合、清洗,并基于三范式进行关系建模。 维度建模:在DWR层
DataArts Studio实例中的CDM没有计费是什么原因? 购买非免费版的DataArts Studio实例时,系统会赠送一个4核CPU、8G内存规格CDM集群,不会产生费用。 注意,DataArts Studio实例赠送的CDM集群,推荐作为DataArts Studio
型设计,智能化的帮助用户生成数据处理代码,数据处理全流程质量监控,异常事件实时通知。 丰富的数据开发类型 支持多人在线协作开发,脚本开发可支持SQL、Shell在线编辑、实时查询;作业开发可支持CDM、SQL、MRS、Shell、Spark等多种数据处理节点,提供丰富的调度配置策略与海量的作业调度能力。
(Source Data Integration),又称贴源数据层。SDI是源系统数据的简单落地。 DWI (Data Warehouse Integration),又称数据整合层。DWI整合多个源系统数据,对源系统进来的数据进行整合、清洗,并基于三范式进行关系建模。 DWR (Data
s Studio数据开发,必须具备“作业日志OBS桶”的读、写权限,否则,在使用过程中,系统将无法正常读、写数据开发的作业日志。 单击“请选择”按钮,您可以选择一个已创建的OBS桶和对象,系统将基于工作空间全局配置作业日志OBS桶。 如果不配置该参数,DataArts Studi
备份管理 通过备份功能,您可定时备份系统中的所有作业、脚本、资源和环境变量。 通过还原功能,您可还原已备份的资产,包含作业、脚本、资源和环境变量。 约束限制 该功能依赖于OBS服务。 当前备份内容不会自动老化删除,您需要定期手动清理备份文件。 前提条件 已开通对象存储服务,并在OBS中创建文件夹。
例如DLI权限同步时,如果无此权限会导致同步失败,系统提示权限不足。 DLI权限管理时必选 不支持授权项,需要配置系统权限DLI FullAccess DLI FullAccess 前提条件 在进入DataArts Studio控制台首页时,已在弹出访问授权对话框中选择同意授权,以便系统自动创建名为dlg_agency的委托。
基线实例 系统使用基线实例计算任务每次运行的预计完成时间。本章节为您介绍如何查看基线实例详情和基线运行通知。 使用限制 仅开启状态的基线才会生成基线实例。详细信息请参见基线管理。 查看基线实例列表 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。
详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 cdm 自动创表 是否自动创建Hudi表。
SDK”或“专享版 > SDK”。 单击SDK使用引导区域里对应语言的SDK,下载SDK包到本地。 进行SDK包完整性校验。Windows操作系统下,打开本地命令提示符框,输入如下命令,在本地生成已下载SDK包的SHA256值,其中,“D:\java-sdk.zip”为SDK包的本
Studio管理控制台进行操作,相关接口也无法调用。如果在保留期结束时您没有续费,DataArts Studio将终止服务,系统中的数据也将被永久删除。 系统会根据用户等级赋予不同的宽限期和保留期,详见宽限期保留期。 DataArts Studio增量包 “包年包月”计费的DataArts
s Studio数据开发,必须具备“作业日志OBS桶”的读、写权限,否则,在使用过程中,系统将无法正常读、写数据开发的作业日志。 单击“请选择”按钮,您可以选择一个已创建的OBS桶和对象,系统将基于工作空间全局配置作业日志OBS桶。 如果不配置该参数,DataArts Studi
Service,CTS)可以记录DataArts Studio相关的操作事件,用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 在您开启了云审计服务后,系统开始记录DataArts Studio的相关操作,云审计服务的管理控制台保存最近7天的操作记录。 前提条件 已开通云审计服务。开通方式请参见开通云审计服务。
X MRS Hive、MRS Hudi暂不支持2.x版本,建议使用的版本: 1.2.X 3.1.X 对象存储 OBS 支持 支持 - 文件系统 FTP、SFTP 支持 不支持 - 关系型数据库 RDS(MySQL)、RDS(PostgreSQL)、RDS(SQL Server)、Oracle、RDS(SAP
id}命名的OBS桶中,您也可以自定义日志和DLI脏数据存储路径,支持基于工作区全局配置OBS桶。 约束限制 该功能依赖于OBS服务。 OBS路径仅支持OBS桶,不支持并行文件系统。 前提条件 修改工作空间的用户账号,需要满足如下任一条件: DAYU Administrator或Tenant Administrator账号。
BY条件。维度多数具有层级结构,如:地理维度(其中包括国家、地区、省以及城市等级别的内容)、时间维度(其中包括年度、季度、月度等级别的内容)。 对系统的影响 维度发布并通过审核后,系统会自动创建与维度相对应的维度表,维度表的名称和编码均与维度相同。 新建维度并发布 在DataArts Studio控制台首
发布作业任务 在企业模式中,开发者提交作业版本后,系统会对应产生一个作业类型的发布任务。开发者确认发布后,待拥有管理员、部署者、DAYU Administrator、Tenant Administrator权限的用户审批通过,然后将修改后的作业同步到生产环境。 管理员导入作业时,选择导入提交态,会生成对应的待发布项。
作业任务参数调优 概述 实时数据集成服务底层使用Flink流处理框架进行开发,因此包含了Flink系统中最重要的两个部分:JobManager和TaskManager。 作业任务配置中调整的处理器核数、并发数、执行内存参数等便是用来调整JobManager和TaskManager
数据开发应用示例 操作场景 数据治理中心DataArts Studio帮助企业快速构建从数据接入到数据分析的端到端智能数据系统,消除数据孤岛,统一数据标准,加快数据变现,实现数字化转型。 下面介绍如何调用创建脚本API创建脚本,API的调用方法请参见如何调用API。 前提条件 您
Hive等多种数据仓库。 支持可视化和DDL方式管理数据库表。 数据管理 脚本开发 脚本开发功能提供如下能力: 提供在线脚本编辑器,支持多人协作进行SQL、Shell等脚本在线代码开发和调测。 支持使用变量和函数。 支持脚本的版本管理能力。 脚本开发 作业开发 作业开发功能提供如下能力: