正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
脏数据当前仅支持写入到OBS桶路径中。因此仅当已具备OBS连接时,此参数才可以配置。 是 脏数据写入连接 当“是否写入脏数据”为“是”才显示该参数。 脏数据要写入的连接,目前只支持写入到OBS连接。 obs_link OBS桶 当“脏数据写入连接”为OBS类型的连接时,才显示该参数。
关联逻辑实体的模型名称。 model WorkspaceVO object 模型。 data_format String 数据格式。 obs_bucket String obs桶。 obs_location String 外表路径 configs String 其他配置。 table_type String
连接Oracle数据库时,具体参数请参见Oracle数据库连接参数说明。 分库 连接达梦数据库时,具体参数请参见分库连接参数说明。 对象存储服务(OBS) 连接OBS时,具体参数请参见OBS连接参数说明。 MRS HDFS FusionInsight HDFS Apache HDFS 连接MRS、Apache
进入数据集市页面。 单击“汇总表”页签,进入汇总表页面。 新建3个汇总表:付款方式统计汇总表、费率统计汇总表、供应商统计汇总表。 在“汇总表”页面,在主题树中选中“城市交通 > 行程记录 > 记录统计”,然后单击“新建”新建付款方式统计汇总表。在新建汇总表页面,配置如下,配置完成后单击“保存”。
--Flink作业资源包 wordcount --输入数据路径 obs://dlf-test/lkj_test/input/word.txt --输出数据路径 obs://dlf-test/lkj_test/output.txt 其中: obs://dlf-test/lkj_test/input/word
源端为关系数据库 源端为对象存储 源端为HDFS 源端为Hive 源端为HBase/CloudTable 源端为FTP/SFTP 源端为HTTP/HTTPS 源端为MongoDB/DDS 源端为Redis 源端为DIS 源端为Kafka 源端为Elasticsearch/云搜索服务 父主题: 附:公共数据结构
敏感数据治理流程 隐私保护管理 隐私数据保护简介 数据服务 统一管理对内对外的API服务,提供快速将数据表生成数据API的能力,同时支持将现有的API快速注册到数据服务平台以统一管理和发布。 开发API 购买并管理专享版集群 新建数据服务审核人 创建API 调试API 发布API 管理API
120 汇总表接口 表17 汇总表接口 API 说明 API流量限制(次/min) 用户流量限制(次/min) 查找汇总表 通过中英文名称、创建者、审核人、状态、修改时间分页查找汇总表信息,中英文名称支持模糊查询。 21600 240 新建汇总表 根据入参,手动创建汇总表。 10800
(可选)获取认证信息 DataArts Studio使用过程中,例如在数据集成创建OBS连接、API调用或问题定位时,您可能需要获取访问密钥、项目ID、终端节点等信息,获取方式如下。 获取访问密钥 您可以通过如下方式获取访问密钥。 登录控制台,在用户名下拉列表中选择“我的凭证”。
用户Token,使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 Dlm-Type 否 String 数据服务的版本类型,指定SHARED共享版或EXCLUSIVE专享版。
dsFactLogicTable deleteFactLogicTable 查看汇总表 DAYU_DS dsAggregationLogicTable getListAggregationLogicTable 创建汇总表 DAYU_DS dsAggregationLogicTable cr
进入数据集市页面。 单击“汇总表”页签,进入汇总表页面。 新建3个汇总表:付款方式统计汇总表、费率统计汇总表、供应商统计汇总表。 在“汇总表”页面,在主题树中选中“城市交通 > 行程记录 > 记录统计”,然后单击“新建”新建付款方式统计汇总表。在新建汇总表页面,配置如下,配置完成后单击“保存”。
数据集市:新建DM层并发布汇总表。 DM (Data Mart):又称数据集市。DM面向展现层,数据有多级汇总。 汇总表:汇总表是由一个特定的分析对象(如会员)及其相关的统计指标组成的。组成一个汇总逻辑表的统计指标都具有相同的统计粒度(如会员),汇总逻辑表面向用户提供了以统计粒
同步到云上的数据库服务或大数据服务中,适用于多库多表同步场景。 支持分库分表同步的数据源如下所示: 源端为RDS(MySQL)时支持分库分表同步。 整库同步支持的数据源类型 整库同步适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或大数据服务中,适用于数据库离线同步场景,不适用于在线实时同步。
矩阵、抽象出事实和维度,构建维度模型和事实模型,同时对报表需求进行抽象整理出相关指标体系,构建出汇总模型。 数据集市 又称为DM(Data Mart),DM面向展现层,数据有多级汇总,由一个特定的分析对象及其相关的统计指标组成的。 父主题: 数据架构
式保存该文件。 将源数据CSV文件上传到OBS服务。 登录控制台,选择“存储 > 对象存储服务 OBS”,进入OBS控制台。 单击“创建桶”,然后根据页面提示配置参数,创建一个名称为“fast-demo”的OBS桶。 为保证网络互通,OBS桶区域请选择和DataArts Stud
数据资产总览与统计信息展示。 数据服务 数据服务是基于数据分发、发布的框架,将数据作为一种服务产品提供,满足客户的实时数据需求,能复用并符合企业和工业标准,兼顾数据共享和安全。 API网关 API网关(API Gateway)提供API托管服务,涵盖API发布、管理、运维、售卖的
StringUtil内嵌对象 StringUtil内嵌对象提供了一系列字符串操作方法,例如从一个字符串中截取一个子字符串。 StringUtil内部是由org.apache.commons.lang3.StringUtils实现的,具体使用方法请参考apache commons文档。
JSONUtil内嵌对象 JSONUtil内嵌对象提供了JSON对象方法。 方法 表1 方法说明 方法 描述 示例 Object parse(String jsonStr) 将json字符串转换为对象。 假设变量a为JSON字符串,将json字符串转换为对象,EL表达式如下: #{JSONUtil
Loop内嵌对象 使用Loop内嵌对象可获取For Each节点数据集中的数据。 属性 表1 属性说明 属性 类型 描述 示例 dataArray String Loop.dataArray表示For Each节点“数据集”中定义的二维数组。 一般定义格式为#{Loop.dataArray[0][0]}、#{Loop