检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
cal_fn_ids 是 Array of strings 引用函数ID,ID字符串。 front_configs 否 String 前端表达式配置,用于前端数据恢复。 表6 DerivativeIndexDimensionVO 参数 是否必选 参数类型 描述 group_id 是 String
0:00Z。 db_name String 数据库名。 dw_type String 数据连接类型,只读。 queue_name String dli数据连接执行sql所需的队列,数据连接类型为DLI时必须。 schema String DWS类型需要。 l1 String 主题域分组。
(可选)在数据架构控制台,单击左侧导航树中的“配置中心”,在功能配置下选择是否开启“时间限定生成使用动态表达式”功能,默认关闭。 图1 功能配置 在数据架构控制台,单击左侧导航树中的“技术指标”,选择“时间限定”页签。 进入时间限定页面后,单击“新建”按钮。 在新建时间限定页面,参考表1配置参数,然后单击“发布”。
moment-timezone --save 获取并安装IntelliJ IDEA,如果未安装,请至IntelliJ IDEA官方网站下载。 已在IntelliJ IDEA中安装NodeJS插件,如果未安装,请按照图1所示安装。 图1 安装NodeJS插件 获取SDK 登录DataArts
创建一个数据开发模块空作业,作业名称为“job_MRS_Flink”。 图1 新建作业 进入到作业开发页面,拖动“MRS Flink”节点到画布中并单击,配置节点的属性。 图2 配置MRS Flink节点属性 参数设置说明: --Flink作业名称 wordcount --MRS集群名称 选择一个MRS集群
数据治理分层。 枚举值: SDI: 贴源数据层 DWI: 数据整合层 DWR: 数据报告层 DM: 数据集市层 dw_type 否 String 数据连接类型,对应表所在的数仓类型,取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。
属性Map(String, Object),key:属性名称,value:属性值。 connection Connection object 数据连接。 create_time Number 创建时间。 created_by String 创建人。 display_text String
Top10电影) 创建DWS SQL脚本top_active_movie(用于存放最活跃的Top10电影) 开发并调度作业,通过编排作业和配置作业调度策略,定期执行作业,使得用户可以每天获取到最新的Top10电影结果。 服务退订,如果不再使用DataArts Studio及相关服务,请及时进行退订和资源删除。
数据开发,包含创建DLI SQL脚本和开发作业。 分析10大用户关注最多的产品 分析10大用户评价最差的商品 开发并调度作业,通过编排作业和配置作业调度策略,定期执行作业,使得用户可以每天获取到最新的数据分析结果。 服务退订,如果不再使用DataArts Studio相关服务,请及时进行退订和资源删除。
数据治理分层。 枚举值: SDI: 贴源数据层 DWI: 数据整合层 DWR: 数据报告层 DM: 数据集市层 dw_type 否 String 数据连接类型,对应表所在的数仓类型,取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。
encryption”(加密方式)选择“AES-256-GCM”时有该参数,密钥由长度64的十六进制数组成。 请您牢记这里配置的密钥,解密时的密钥与这里配置的必须一致。如果不一致系统不会报异常,只是解密出来的数据会错误。 toJobConfig.iv 否 String 初始化向量,“toJobConfig
index starting at 1 but was 0”,即数组下标必须从1开始,a[1]表示数组中的第一个元素。 查看该CDM实时作业:配置源端为Kafka,目的端为DLI字段映射,赋值来源为“源表字段”,赋值框使用kafka消息中的嵌套json数组写入方式为a[0]。由于在字
Ranger权限访问控制 配置资源权限 查看权限报告 父主题: 统一权限治理
节点数据血缘 数据血缘方案简介 配置数据血缘 查看数据血缘 父主题: 节点参考
质量规则接口 更新表的异常数据输出配置 清空质量规则 父主题: 数据架构API
0:00Z。 db_name String 数据库名。 dw_type String 数据连接类型,只读。 queue_name String dli数据连接执行sql所需的队列,数据连接类型为DLI时必须。 schema String DWS类型需要。 l1 String 主题域分组。
采集数据源的元数据 元数据简介 配置元数据采集任务 查看任务监控 父主题: 数据目录
Studio权限的操作准备必要的IAM用户,然后参考本章节将该用户添加为工作空间成员并配置工作空间角色。 图1 权限体系 工作空间角色决定了该用户在工作空间内的权限,当前有管理员、开发者、部署者、运维者和访客这几种预置角色可被分配,您也可以参考(可选)自定义工作空间角色自定义角色
数据目录典型场景教程 配置增量元数据采集任务 通过数据目录查看数据血缘关系 父主题: 数据目录
选择APP应用类型,APP认证方式的API只能授权给APP类型的应用。 IAM:IAM类型应用为IAM认证方式的API进行授权。IAM类型应用为实例级别配置,应用名称固定为华为账号,每个DataArts Studio实例下仅能创建一个,各工作空间之间均可见。 APP:APP类型应用为APP认证