检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
购买RDS for MySQL实例 DWS 创建DWS集群 DMS Kafka 创建Kafka实例 注意: 创建DMS Kafka实例时,不能开启Kafka SASL_SSL。 CSS 创建CSS集群 MRS 创建MRS集群 绑定跨源的DLI队列网段和其他数据源子网网段不能重合。 系
表示窗口时间间隔为10天,请根据实际情况修改该时间值。 period_interval 表示在窗口范围内周期性触发的频率,即在窗口结束前,从窗口开启开始,每隔period_interval时长更新一次输出结果。若没有设置,则默认没有使用周期触发策略。 lateness_interval
表示窗口时间间隔为10天,请根据实际情况修改该时间值。 period_interval 表示在窗口范围内周期性触发的频率,即在窗口结束前,从窗口开启开始,每隔period_interval时长更新一次输出结果。如果没有设置,则默认没有使用周期触发策略。 lateness_interval
DLI Hudi元数据 DLI Hudi元数据说明 创建Hudi表时会在元数据仓创建表的相关元数据信息。 Hudi支持对接DLI元数据和Lakeformation元数据(仅Spark 3.3.1及以上版本支持对接Lakeformation元数据),对接方式与Spark一致。 DL
12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 创建MRS的ClickHouse集群,集群版本选择MRS 3.1.0及以上版本,且勿开启kerberos认证。 ClickHouse结果表不支持删除表数据操作。 Flink中支持字段类型范围为:string、tinyint、s
其他参数可以根据需要选择配置。 参数配置完成后,单击“确定”完成增强型跨源配置。单击创建的跨源连接名称,查看跨源连接的连接状态,等待连接状态为:“已激活”后可以进行后续步骤。 单击“资源管理 > 队列管理”,选择操作的队列,如本示例的“general_test”,在操作列,单击“更多 > 测试地址连通性”。
DLI Delta元数据 在DLI中提交Spark SQL作业开发Delta的SQL语法请参考Delta SQL语法参考。 在DLI中提交Spark Jar作业开发Delta请参考在DLI使用Delta提交Spark Jar作业。 DLI Delta元数据说明 创建Delta表时会在元数据仓创建表的相关元数据信息。
使用DLI分析电商BI报表 应用场景 某电商商城在保持高速发展的同时,沉淀了数亿的忠实用户,积累了海量的真实数据。如何利用BI工具从历史数据中找出商机,是大数据应用在精准营销中的关键问题,也是所有电商平台在做智能化升级时所需要的核心技术。 本案例以某商城真实的用户、商品、评论数据
可以包含任意语种字母、数字、空格和_ . : +-@ 。 单击“确定”,创建增强型跨源连接。 创建完成后,增强型跨源连接的链接状态显示“已激活”,代表该链接创建成功。 数据源所在安全组放通弹性资源池的网段 在DLI管理控制台,获取弹性资源池/队列的网段。 单击“资源管理 > 队列
自定义权限,但委托名称固定为dli_data_clean_agency。 DLI Flink作业访问和使用OBS、日志转储(包括桶授权)、开启checkpoint、作业导入导出等,需要获得访问和使用OBS(对象存储服务)的Tenant Administrator权限。 DLI F
计费概述 数据湖探索DLI的计费由不同的计费项组成,不同的计费项有不同的计费模式,如图1所示。 图1 DLI的计费组成 计费项 DLI的计费项包括计算计费、存储计费、扫描量计费。DLI的计费详情请参见DLI产品价格详情。您可以通过DLI提供的价格计算器,快速计算出购买资源的参考价格。
源池的最大CU。 同一队列不同扩缩容策略的时间段区间不能有交集。 弹性资源池队列中的扩缩容策略时间段仅支持整点的时间段设置,并且包含设置的开启时间,不包含设置的结束时间,例如设置时间段00-09,则时间段范围为:[00:00,09:00)。默认的扩缩容策略不支持时间段配置修改。
enable、comment、orc.compress和auto.purge。 dli.multi.version.enable:本例配置为true,即代表开启DLI数据多版本功能,用于表数据的备份与恢复。 comment:表描述信息,TBLPROPERTIES内的描述信息支持后续修改。 orc.
DLI作业开发流程 本节内容为您介绍DLI作业开发流程。 创建IAM用户并授权使用DLI 如果您是企业用户,并计划使用IAM对您所拥有的DLI资源进行精细的权限管理,请创建IAM用户并授权使用DLI。具体操作请参考创建IAM用户并授权使用DLI。 首次使用DLI您需要根据控制台的
表示窗口时间间隔为10天,请根据实际情况修改该时间值。 period_interval 表示在窗口范围内周期性触发的频率,即在窗口结束前,从窗口开启开始,每隔period_interval时长更新一次输出结果。若没有设置,则默认没有使用周期触发策略。 lateness_interval
Hbase源表 功能描述 创建source流从HBase中获取数据,作为作业的输入数据。HBase是一个稳定可靠,性能卓越、可伸缩、面向列的分布式云存储系统,适用于海量数据存储以及分布式计算的场景,用户可以利用HBase搭建起TB至PB级数据规模的存储系统,对数据轻松进行过滤分析
Hbase源表 功能描述 创建source流从HBase中获取数据,作为作业的输入数据。HBase是一个稳定可靠,性能卓越、可伸缩、面向列的分布式云存储系统,适用于海量数据存储以及分布式计算的场景,用户可以利用HBase搭建起TB至PB级数据规模的存储系统,对数据轻松进行过滤分析
其他参数可以根据需要选择配置。 参数配置完成后,单击“确定”完成增强型跨源配置。单击创建的跨源连接名称,查看跨源连接的连接状态,等待连接状态为“已激活”后可以进行后续步骤。 单击“资源管理 > 队列管理”,选择操作的队列,本示例为步骤4:创建弹性资源池并添加队列中创建的队列,在操作列,单击“更多
DLI预置的SQL模板中TPC-H样例数据说明 TPC-H样例数据简介 TPC-H(商业智能计算测试) 是交易处理效能委员会(TPC,Transaction Processing Performance Council) 组织制定的用来模拟决策支持类应用的一个测试集。目前,在学术
源池的最大CU。 同一队列不同扩缩容策略的时间段区间不能有交集。 弹性资源池队列中的扩缩容策略时间段仅支持整点的时间段设置,并且包含设置的开启时间,不包含设置的结束时间,例如设置时间段00-09,则时间段范围为:[00:00,09:00)。默认的扩缩容策略不支持时间段配置修改。