检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对于包含count(distinct)的多维分析（with cube）的查询场景，spark典型的执行计划是将cube使用expand算子来实现，但该操作会导致查询膨胀，为了避免出现查询膨胀，建议执行如下配置： spark.sql.keep.distinct.expandThreshold：
认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 代码实现 导入依赖。 涉及到的mvn依赖库 1 2 3 4 5 <dependency> <groupId>org.apache.spark</groupId>
通过DLI开放的API和调用示例，您可以使用并管理队列，SQL作业，Spark作业和跨源作业等。您还可以直接调用DLI SDK提供的接口函数实现业务。 常用API API概览 队列相关API Spark作业相关API 增强型跨源相关API 流作业相关API 流作业模板相关API SDK参考
在DLI使用Hudi提交Spark SQL作业 登录DLI管理控制台，选择“SQL编辑器”首进入提交SQL作业的界面。提交SQL作业时需要选择支持Hudi的Spark SQL队列。 创建一张Hudi表： 将如下的建表语句粘贴至DLI SQL编辑器的输入区域，修改 LOCATION
认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 代码实现详解 import相关依赖包 1 2 3 from __future__ import print_function from pyspark
认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 代码实现详解 导入依赖 涉及到的mvn依赖库 1 2 3 4 5 <dependency> <groupId>org.apache.spark</groupId>
-- @set dli.sql.shuffle.partitions=10 图6 Tableau参数配置示例 在DLI的SQL编辑器的执行效果：Set参数会修改为注释提交到DLI侧执行。 图7 在DLI的SQL编辑器查看配置的参数 父主题： 使用BI工具连接DLI分析数据
优点：写入过程中对主键进行hash分桶写入，性能比较高，不受表的数据量限制。Flink和Spark引擎都支持，Flink和Spark引擎可以实现交叉混写同一张表。 缺点：Bucket个数不能动态调整，数据量波动和整表数据量持续上涨会导致单个Bucket数据量过大出现大数据文件。需要结合分区表来进行平衡改善。
Service，CSMS），提供一种安全、可靠、简单易用隐私数据加解密方案。 用户或应用程序通过凭据管理服务，创建、检索、更新、删除凭据，轻松实现对敏感凭据的全生命周期的统一管理，有效避免程序硬编码或明文配置等问题导致的敏感信息泄露以及权限失控带来的业务风险。 本节操作介绍Flink
GROUPING SETS ((user), (product)); GROUP BY中使用HAVING过滤 功能描述 利用HAVING子句在表分组后实现过滤。 语法格式 1 2 3 4 5 SELECT [ ALL | DISTINCT ] { * | projectItem [, projectItem
GROUPING SETS ((user), (product)); GROUP BY中使用HAVING过滤 功能描述 利用HAVING子句在表分组后实现过滤。 语法格式 1 2 3 4 5 SELECT [ ALL | DISTINCT ] { * | projectItem [, projectItem
GROUPING SETS ((user), (product)); GROUP BY中使用HAVING过滤 功能描述 利用HAVING子句在表分组后实现过滤。 语法格式 1 2 3 4 5 SELECT [ ALL | DISTINCT ] { * | projectItem [, projectItem
TPC-H 基准测试是由 TPC-D（由 TPC 组织于 1994 年制定的标准，用于决策支持系统方面的测试基准）发展而来的。TPC-H用3NF实现了一个数据仓库，共包含8个基本关系，其数据量可以设定从1G~3T不等。TPC-H 基准测试包括 22 个查询(Q1~Q22)，其主要评价指
过调大内存占比解决。 建议 通过增加并发数提升Compaction性能。 CPU和内存比例配置合理会保证Compaction作业是稳定的，实现单个Compaction task的稳定运行。但是Compaction整体的运行时长取决于本次Compaction处理文件数以及分配的cp
认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 代码实现详解 import相关依赖包 1 2 3 from __future__ import print_function from pyspark
授权项：自定义策略中支持的Action，在自定义策略中的Action中写入授权项，可以实现授权项对应的权限功能。 依赖的授权项：部分Action存在对其他Action的依赖，需要将依赖的Action同时写入授权项，才能实现对应的权限功能。 IAM项目(Project)/企业项目(Enterprise
认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 代码实现 导入依赖 涉及到的mvn依赖库 1 2 3 4 5 <dependency> <groupId>org.apache.spark</groupId>
具中将scope设为provided 日志配置文件（例如：“log4j.properties”或者“logback.xml”等） 日志输出实现类JAR包（例如：log4j等） 注意事项 创建作业提交任务前，建议先开通云审计服务，用于记录与DLI服务相关的操作事件，便于日后的查询、
li.sql.dynamicPartitionOverwrite.enabled=true，再通过“insert overwrite”语句实现，“dli.sql.dynamicPartitionOverwrite.enabled”默认值为“false”，表示覆盖整表数据。例如： 1
23,456]' AS ARRAY(INTEGER)); -- [1, 23, 456] JSON函数 NULL到JSON的转换并不能简单地实现。从独立的NULL进行转换将产生一个SQLNULL，而不是JSON 'null'。不过，在从包含NULL的数组或Map进行转换时，生成的JSON将包含NULL。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
