检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当开启数据集成作业特性后,可勾选数据集成组件,勾选后在数据开发组件创建集成作业时支持选择本数据连接。 离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员。 基础与网络连通配置 SSL加密 是 DWS支持SSL通道加密和证书认证两种方式进行客户端与服务器端的通信。您可以通过服务器端是否强制使用SSL连接进行设置。
数据开发中,该模块支持创建作业数量和作业中的节点数是否有限制。 解决方案 目前默认每个用户最多可以创建10000个作业,每个作业建议最多包含200个节点。 另外,系统支持用户根据实际需求调整最大配额。如有需求,请提交工单进行申请。 父主题: 数据开发
当开启数据集成作业特性后,可勾选数据集成组件,勾选后在数据开发组件创建集成作业时支持选择本数据连接。 离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员。 基础与网络连通配置 IP 是 填写ClickHouseServer所在节点IP。 端口 是 默认使用ClickHouse
作业状态有New,Pending,Booting,Running,Failed,Succeeded,stopped。 其中“Pending”表示正在等待系统调度该作业,“Booting”表示正在分析待迁移的数据。 查看历史记录 查看作业执行结果及最近30天内的历史信息,包括历史执行记录、读取和
约束与限制 浏览器限制 您需要使用支持的浏览器版本登录DataArts Studio。 表1 浏览器兼容性 浏览器版本 建议版本 建议操作系统 备注 Google Chrome 126,125,124 Windows 10 建议分辨率为1920*1080,2560*1440。 Firefox
当开启数据集成作业特性后,可勾选数据集成组件,勾选后在数据开发组件创建集成作业时支持选择本数据连接。 离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员。 基础与网络连通配置 OBS终端节点 是 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不
DataArts Studio实例中的CDM没有计费是什么原因? 购买非免费版的DataArts Studio实例时,系统会赠送一个4核CPU、8G内存规格CDM集群,不会产生费用。 注意,DataArts Studio实例赠送的CDM集群,推荐作为DataArts Studio
下载关系建模导入模板后,编辑完成后保存至本地。 选择是否更新已有数据。 如果系统中已有的编码和模板中的编码相同,系统则认为是数据重复。 不更新:当数据重复时,不会替换系统中原有的数据。 更新:当数据重复时 系统中的原有数据为草稿状态,则会覆盖生成新的草稿数据。 系统中的原有数据为发布状态,则会生成下展数据。 单
当开启数据集成作业特性后,可勾选数据集成组件,勾选后在数据开发组件创建集成作业时支持选择本数据连接。 离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员。 基础与网络连通配置 连接方式 是 选择所需的连接方式,推荐使用“通过代理连接”。 通过代理连接:通过Agent(即CDM
置如表5所示的参数。 表5 作业参数预览 功能 说明 当前时间 仅单次调度才显示。系统默认为当前时间。 事件触发时间 仅事件驱动调度才显示。系统默认为事件触发时间。 周期调度 仅周期调度才显示。系统默认为调度周期。 具体时间 仅周期调度才显示。周期调度配置的具体运行时间。 起始日期
详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 cdm 自动创表 是否自动创建Hudi表。
Hadoop MRS Hive、MRS Hudi、Doris、ClickHouse、MRS HBase 支持 支持 对象存储 OBS 支持 支持 文件系统 FTP、SFTP 支持 不支持 关系型数据库 RDS(MySQL)、RDS(PostgreSQL)、RDS(SQL Server)、Oracle、RDS(SAP
企业数据繁杂,无标准,质量低。 企业的IT系统经历了数据量高速膨胀的时期,这些海量的、分散在不同角落的数据导致了数据资源利用的复杂性和管理的高难度。企业无法从统一的业务视角去概览整个企业内部的数据信息。暴露出来的只是一个个独立的系统,系统与系统之间的关系、标准数据从哪里获取都无从知晓。
前端展示层脱敏。 配置工作空间模式 系统支持按照作业调度计划时间去运行,同时支持按照业务日期去运行。 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。 单击“默认项设置”,可设置“工作空间模式”配置项。 工作空间模式支持如下两种,系统默认配置为“普通模式”。 普通模式:
当开启数据集成作业特性后,可勾选数据集成组件,勾选后在数据开发组件创建集成作业时支持选择本数据连接。 离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员。 基础与网络连通配置 是否使用集群配置 是 此参数用于选择用户已经创建好的集群配置。 您可以通过使用集群配置,简化Hadoop连接参数配置。默认:关闭。
(Source Data Integration),又称贴源数据层。SDI是源系统数据的简单落地。 DWI (Data Warehouse Integration),又称数据整合层。DWI整合多个源系统数据,对源系统进来的数据进行整合、清洗,并基于三范式进行关系建模。 DWR (Data
s Studio数据开发,必须具备“作业日志OBS桶”的读、写权限,否则,在使用过程中,系统将无法正常读、写数据开发的作业日志。 单击“请选择”按钮,您可以选择一个已创建的OBS桶和对象,系统将基于工作空间全局配置作业日志OBS桶。 如果不配置该参数,DataArts Studi
Hive等多种数据仓库。 支持可视化和DDL方式管理数据库表。 数据管理 脚本开发 脚本开发功能提供如下能力: 提供在线脚本编辑器,支持多人协作进行SQL、Shell等脚本在线代码开发和调测。 支持使用变量和函数。 支持脚本的版本管理能力。 脚本开发 作业开发 作业开发功能提供如下能力:
可能会出现无法支持建表语句执行的报错,这种情况下建议您选择自建队列运行业务。如需“default”队列支持建表语句执行,可联系DLI服务客服或技术支持人员协助解决。 DLI的“default”队列为共享队列,仅用于用户体验,用户间可能会出现抢占资源的情况,不能保证每次都可以得到
例如DLI权限同步时,如果无此权限会导致同步失败,系统提示权限不足。 DLI权限管理时必选 不支持授权项,需要配置系统权限DLI FullAccess DLI FullAccess 前提条件 在进入DataArts Studio控制台首页时,已在弹出访问授权对话框中选择同意授权,以便系统自动创建名为dlg_agency的委托。