检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
周期调度依赖策略 传统周期调度依赖和自然周期调度依赖对比 传统周期调度 自然周期调度 自然周期调度之同周期依赖原理 自然周期调度之上一周期依赖原理 父主题: 数据开发进阶实践
资产识别与管理 云资源的标识与管理可通过标签实现。 使用场景 通常您的业务系统可能使用了华为云的多种云服务,您可以为这些云服务下不同的资源实例分别设置标签(对于DataArts Studio而言,标签作用于其实例上),各服务产生的计费详单中都会体现这些资源实例和实例上设置的标签。
数据质量操作列表 云审计服务(Cloud Trace Service,简称CTS)为用户提供了云账户下资源的操作记录,可以帮您记录相关的操作事件,便于日后的查询、审计和回溯。
免费版:基于DLI的电商BI报表数据开发流程 示例场景说明 步骤1:数据准备 步骤2:数据开发处理 步骤3:服务退订
数据安全 为什么运行静态脱敏任务后却没有按照规则脱敏? 审批DWS权限申请时提示“缺少必要的请求参数”怎么办? 启用细粒度认证时,DWS联通性检测报错“FATAL: Invalid username/password,login denied”怎么办? 启用细粒度认证后,在数据开发组件选择数据库时报错
管理中心 DataArts Studio支持连接哪些数据源? 创建数据连接需要注意哪些事项? DWS/Hive/HBase数据连接无法获取数据库或表的信息怎么办? 为什么在创建数据连接的界面上MRS Hive/HBase集群不显示? DWS数据连接开启SSL时测试连接失败怎么办?
(可选)升级企业模式工作空间 企业模式简介 创建企业模式工作空间 企业模式角色操作 父主题: 购买并配置DataArts Studio
作业开发 作业开发流程 新建作业 开发Pipeline作业 开发批处理单任务SQL作业 开发实时处理单任务MRS Flink SQL作业 开发实时处理单任务MRS Flink Jar作业 开发实时处理单任务DLI Spark作业 调度作业 提交版本 发布作业任务 (可选)管理作业
EL表达式参考 表达式概述 基础操作符 日期和时间模式 Env内嵌对象 Job内嵌对象 StringUtil内嵌对象 DateUtil内嵌对象 JSONUtil内嵌对象 Loop内嵌对象 OBSUtil内嵌对象 常用EL表达式样例合集 EL表达式使用实例 父主题: 数据开发
配置 配置环境变量 配置OBS桶 管理作业标签 配置调度身份 配置节点并发数 配置模板 配置调度日历 配置默认项 配置任务组 配置互斥 父主题: 配置管理
使用教程 脚本及作业中引用参数使用介绍 作业调度支持每月最后一天 配置作业调度为年调度 补数据场景使用介绍 获取SQL节点的输出结果值 查询SQL获取max值传递给CDM作业 IF条件判断教程 获取Rest Client节点返回值教程 For Each节点使用介绍 引用脚本模板和参数模板的使用介绍
数据架构 数据架构概述 数据架构使用流程 添加审核人 数据调研 标准设计 模型设计 指标设计 通用操作 使用教程
数据调研 流程设计 主题设计 逻辑模型 父主题: 数据架构
DIS数据连接参数说明 表1 DIS连接 参数 是否必选 说明 数据连接类型 是 DIS连接固定选择为DIS。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称
模型设计 数仓规划 关系建模 维度建模 数据集市 父主题: 数据架构
指标设计 业务指标 技术指标 父主题: 数据架构
配置MySQL目的端参数 表1 PostgreSQL作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称,支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面
配置Hudi目的端参数 表1 MRS Hudi作为目的端时的作业参数 类别 配置项 配置说明 推荐配置 基本参数 数据库名称 输入或选择写入数据的数据库名称。单击输入框后面的按钮可进入数据库选择界面。 dbadmin 表名 单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量
配置DLI目的端参数 表1 DLI作为目的端时的作业参数 参数名 说明 取值样例 资源队列 选择目的表所属的资源队列。 DLI的default队列无法在迁移作业中使用,您需要在DLI中新建SQL队列。 新建队列操作请参考创建队列。 cdm 数据库名称 写入数据的数据库名称。 dli
配置SAP HANA目的端参数 表1 SAP HANA作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称,支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面