检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Studio是具备数据全生命周期管理和智能数据管理能力的一站式数据治理平台,基于数据湖底座,提供数据集成、开发、治理等能力。针对不同的使用场景,我们提供了不同的使用方案示例: 表1 快速入门案例定位 使用案例示例 所选数据湖底座 所需最低版本 业务能力 适用场景 免费版:基于DLI的电商BI报表数据开发流程 DLI
执行Python脚本报错:Agent need to be updated? 问题原因 创建的主机连接的CDM集群版本可能有点低。 解决方案 创建的主机连接需要使用2.8.6版本及以上的CDM集群。 父主题: 数据开发
Client节点,将EL表达式直接写在要发送的数据中,单击“测试运行”,然后在节点上右键查看日志,日志中会把EL表达式的值打印出来。 使用Kafka Client节点。 前提:您需要具备MRS集群,且集群有Kafka组件。 方法:选择Kafka Client节点,将EL表达式直接写在要发送的数据中,单击“测
止访问的用户和用户组。 用户:MRS服务的用户。 角色:MRS服务的角色。 用户组:MRS服务的用户组。 权限:定义用户禁止的权限类型。权限和用户允许同时为空值,或者同时不为空值。服务相关权限详情请参考表1。 委托用户:当勾选此项时,管理权限将分配给适用的用户和组。受委托的管理员
业务场景示例 在本示例中,我们最终输出的是客户需求的报表中过去一年全国所有有效经营面积的平均坪效值。我们的数据源提供了一张订单表用于计算总金额,和一张门店表用于计算经营面积。考虑到过去一年的经营面积从概念上比较难以界定,我们届时可以采用一些较为简单的计算逻辑,旨在演示整体DataArts
API传参是否支持传递操作符? API传参不支持传递操作符。 API传参传递的只是参数,操作符是固定的,多个参数可使用in(${})方式。 父主题: 数据服务
基线运维约束限制 使用基线运维特性时,为了保证任务的优先级生效,需要注意以下要求: MRS约束限制: 在MRS集群场景中,优先级配置只支持使用MRS API模式的数据连接类型,不支持代理模式的数据连接。 DataArts Studio的MRS节点支持优先级功能,如果MRS集群如果
数据集成(CDM作业) 数据集成概述 约束与限制 支持的数据源 创建并管理CDM集群 在CDM集群中创建连接 在CDM集群中创建作业 时间宏变量使用解析 优化迁移性能 关键操作指导 使用教程 常见错误码参考
如果您只给用户配置了工作空间的角色,则会出现无权限的报错。 解决方案 您需要检查IAM用户所在的用户组是否已经在IAM控制台中被授予DAYU User或DAYU Administrator的系统角色。IAM用户的创建和授权系统角色的具体操作如下: 创建用户组并授权系统角色。 使用华为账号登录统
Studio实例、访问DataArts Studio实例控制台、管理工作空间、授权用户使用DataArts Studio等一系列准备工作,才能开始DataArts Studio的正式使用。 需要进行的准备工作如下图所示,具体操作请参考后续章节。 图1 DataArts Studio准备工作流程简介
终止提交到此队列的作业 删除队列 : 删除此队列 赋权 : 当前用户可将队列的权限赋予其他用户 权限回收 : 当前用户可回收其他用户具备的该队列的权限,但不能回收该队列所有者的权限 查看其他用户具备的权限 : 当前用户可查看其他用户具备的该队列的权限 重启队列 : 重启此队列的权限 规格变更
55 问题描述 使用CDM迁移Oracle数据至DWS,报错图1所示。 图1 报错现象 原因分析 数据迁移,整表查询且该表数据量大,那么查询时间较长。 查询过程中,其他用户频繁进行commit操作。 Oracel的RBS(rollbackspace 回滚时使用的表空间)较小,造成
调用时就可以使用任意授权应用的密钥对(AppKey和AppSecret)进行安全认证,对调用者本身的用户身份无要求。 约束与限制 使用APP认证方式的API必须先通过应用授权才能调用。 APP认证方式的API只能授权给APP类型的应用。 如果对无认证方式的API进行应用授权,则系统会忽略此操作。
Where子句 配置定时任务:重复周期为1天,每天的凌晨0点自动执行作业。 这样就可以每天0点导出前一天产生的所有数据。Where子句支持配置多种时间宏变量,结合CDM定时任务的重复周期:分钟、小时、天、周、月,可以实现自动导出任意指定日期内的数据。 父主题: 增量迁移原理介绍
Where子句 配置定时任务:重复周期为1天,每天的凌晨0点自动执行作业。 这样就可以每天0点导出前一天产生的所有数据。Where子句支持配置多种时间宏变量,结合CDM定时任务的重复周期:分钟、小时、天、周、月,可以实现自动导出任意指定日期内的数据。 父主题: 增量迁移原理介绍
问题描述 在使用CDM时,可能遇到如下权限相关的问题: 跳转到CDM首页,获取到的集群列表为空。 提示没有权限访问,如图1所示。 执行启动作业/重启集群等操作时,报错当前策略不允许执行,如图2所示。 图1 没有权限访问 图2 不允许创建连接 原因分析 以上所列的问题均属于权限配置问题。
dataArray[0][1]}等类似样式。其中[0][0]表示数组中第一行的第一个值,[0][1]表示第一行的第二个值,以此类推。 作为For Each节点的“子作业参数”取值,表示For Each循环中,始终取“数据集”中二维数组的第二行的第一个值。 #{Loop.dataArray[1][0]}
日期和时间模式 EL表达式中的日期和时间可以按用户指定的格式进行显示,日期和时间格式由日期和时间模式字符串指定。日期和时间模式字符串由A到Z、a到z的非引号字母组成,字母的含义如表1所示。 表1 字母含义 字母 描述 示例 G 纪元标记 AD y 年 2001 M 年中的月份 July 或
下线/删除API 操作场景 已发布的API因为其他原因需要停止对外提供服务,可以将API从相关环境中下线,相关操作请参见下线API。 下线后的API如果要继续使用,需要重新进行发布操作,但需注意下线API不会保留原有的授权信息。 下线后的API如果确认不再提供服务,可以将API删除,相关操作请参见删除API。
操作场景 CDM在配置字段映射时提示字段的数据类型不支持,要求删除该字段。如果需要使用该字段,可在源端作业配置中使用SQL语句对字段类型进行转换,转换成CDM支持的类型,达到迁移数据的目的。 操作步骤 修改CDM迁移作业,通过使用SQL语句的方式迁移。 SQL语句格式为:“select