检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
修改规则分组接口 功能介绍 修改规则分组接口 调用方法 请参见如何调用API。 URI PUT /v1/{project_id}/security/data-classification/rule/group/{id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id
使用CDM+OBS+DLI进行贸易统计分析的操作过程主要包括2个步骤: 使用CDM上传数据到OBS 通过CDM将H公司存量数据上传到对象存储服务OBS。 通过CDM作业的定时任务,每天自动上传增量数据到OBS。 使用DLI分析数据 通过DLI直接分析OBS中的业务数据,支撑H公司客户进行贸易统计分析。 父主题:
MySQL到DWS实时同步中,同步新增列的DDL时报错怎么办? 问题描述 1. 运行migration mysql2dws链路的实时同步作业,DDL同步中对增加列操作设置为“正常处理”。 2. 在目的端DWS表有数据的场景下,源端MySQL执行DDL语句,添加带非空约束的列,默认值为空字符串,如:alter
Array of ApigGroupDTO objects 网关分组列表。 表5 ApigGroupDTO 参数 参数类型 描述 group_id String 分组编号。 group_name String 分组名称。 状态码: 400 表6 响应Body参数 参数 参数类型 描述
Migration,简称CDM)将本地贸易统计数据导入到OBS,再使用数据湖探索(Data Lake Insight,简称DLI)进行贸易统计分析,帮助H咨询公司以极简、极低成本构建其大数据分析平台,使得该公司更好地聚焦业务,持续创新。 场景描述 H公司是国内一家收集主要贸易国贸易统计及买家数据的商业机
类型为“云数据库 MySQL”,单击“下一步”,然后如下图所示配置连接参数,单击“保存”。 表2 MySQL连接参数 参数名 说明 取值样例 名称 输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。
使用CDM上传数据到OBS 上传存量数据 上传增量数据 父主题: 贸易数据极简上云与统计分析
上传存量数据 使用华为云专线,搭建用户本地数据中心与华为云VPC之间的专属连接通道。 创建OBS桶,并记录OBS的访问域名、端口和AK/SK。 创建CDM集群。 DataArts Studio实例中已经包含一个CDM集群(试用版除外),如果该集群已经满足需求,您无需再购买数据集成增量包,可以跳过这部分内容。
上传增量数据 使用CDM将存量数据上传完后,单击该作业后的“编辑”,直接修改该作业。 保持作业基本参数不变,单击“下一步”修改任务参数,如图1所示。 图1 定时任务配置 勾选“是否定时执行”,配置定时任务: “重复周期”配置为1天。 “开始时间”配置为每天凌晨0点1分执行。 这样
背景信息 使用数据开发模块的作业编排和作业调度功能,每日通过统计交易明细表,生成日交易统计报表。 本示例涉及的数据表如下所示: trade_log:记录每一笔交易数据。 trade_report:根据trade_log统计产生,记录每日交易汇总。 前提条件 已建立DLI的数据连接,以“dli_demo”数据连接为例。
规则分组接口 查询规则组列表 创建规则分组接口 查询规则组 修改规则分组接口 删除规则分组接口 父主题: 数据安全API
指标开发概述 指标是衡量业务特征的统计数值,用于体现企业某一业务活动的业务状况。指标通常分为原子指标和衍生指标,与指标相关的参数还包括统计维度和时间周期。衍生指标则是由原子指标 + 统计维度 + 时间周期组成。 原子指标用于明确业务的统计口径及计算逻辑。在本示例中,经营面积和销售额。
即可修改规则分组的名称、描述和关联的识别规则。 删除规则分组:在规则分组页面,单击对应规则分组操作栏中的“删除”,即可删除识别规则。当需要批量删除时,可以在勾选规则分组后,在列表上方单击“批量删除”。 被引用的数据识别规则分组无法直接删除,需要先解除引用关系后才能删除。 删除操作无法撤销,请谨慎操作。
使用本地API 否 可选参数,选择是否使用数据库本地API加速。 创建MySQL连接时,CDM会自动尝试启用MySQL数据库的local_infile系统变量,开启MySQL的LOAD DATA功能加快数据导入,提高导入数据到MySQL数据库的性能。注意,开启本参数后,日期类型将不符合格式的会
*所属主题 *原子指标 统计维度 时间限定 通用限定 基于付款方式维度统计总车费 行程订单 记录统计 总车费 付款方式 无 无 基于费率代码维度统计总车费 行程订单 记录统计 总车费 费率代码 无 无 基于供应商和下车时间维度统计总车费 行程订单 记录统计 总车费 供应商,行程订单
衍生指标=原子指标+统计维度+时间限定+通用限定。 原子指标:明确统计口径,即计算逻辑。 统计维度:用于观察和分析业务数据的视角,支撑对数据进行汇聚、钻取、切片分析,用于SQL中的GROUP BY条件。 时间限定:时间限定是时间条件限制的标准化定义。 通用限定:统计的业务范围,筛选出
衍生指标是原子指标通过添加时间周期、维度卷积而成,时间周期和维度均来源于原子指标中的属性。 衍生指标=原子指标+统计维度+时间周期。 原子指标:明确统计口径,即计算逻辑。 统计维度:用于观察和分析业务数据的视角,支撑对数据进行汇聚、钻取、切片分析,用于SQL中的GROUP BY条件。
体的数据表名、字段。 计量单位 指标数据统计的基本计量单位。 *统计周期 指标统计的周期颗粒度。 统计维度 常用的统计维度,维度一般存在层级关系。 *刷新频率 指标数据的刷新的最小频率 统计口径&修饰词 除统计周期和维度外,该指标常用的统计口径&修饰词,限制指标数据的范围。 指标应用场景
如何查看表行数和库大小 在数据治理流程中,我们常常需要统计数据表行数或数据库的大小。其中,数据表的行数可以通过SQL命令或数据质量作业获取;数据库大小可以直接在数据目录组件中查看,详情请参考如下操作指导: 统计数据表行数 统计数据库大小 统计数据表行数 对于不同类型的数据源,DataArts
Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 ok 400 Bad Request 父主题: 规则分组接口