检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
projectId 是 - 用户访问的DLI服务使用的项目编号。 region 是 - 对接的DLI服务的Region。 根据Spark应用程序的需要,修改“spark-defaults.conf”中的配置项,配置项兼容开源Spark配置项,参考开源Spark的配置项说明。 使用Spark-submit提交Spark作业
优先推荐您使用控制台提供的“元数据来源”参数项进行配置。 Lakeformation 数据目录名称 配置Spark作业访问的数据目录名称。 此处选择的是在DLI管理控制台创建的数据目录,即DLI与Lakeformation默认实例下的数据目录的映射,该数据目录连接的是LakeForma
在使用join进行多表关联查询时,不管表数据量大小,join时都需要指定on条件来减少多表关联的数据量,从而减轻队列的负荷,提升查询效率。 例如,问题现象中的问题语句可以根据业务场景,在join时通过指定on条件来进行优化,这样会极大减少关联查询的结果集,提升查询效率。 select case
booleanExpression ] 语法说明 利用WHERE子句过滤查询结果。 注意事项 所查询的表必须是已经存在的,否则会出错。 WHERE条件过滤,将不满足条件的记录过滤掉,返回满足要求的记录。 示例 找出数量超过3并且小于10的订单。 1 2 insert into temp SELECT * FROM
booleanExpression ] 语法说明 利用WHERE子句过滤查询结果。 注意事项 所查询的表必须是已经存在的,否则会出错。 WHERE条件过滤,将不满足条件的记录过滤掉,返回满足要求的记录。 示例 找出数量超过3并且小于10的订单。 1 2 insert into temp SELECT * FROM
[alias]; 关键字 ALL:返回重复的行。为默认选项。其后只能跟*,否则会出错。 DISTINCT:从结果集移除重复的行。 注意事项 所要查询的表必须是已经存在的表,否则会出错。 在嵌套查询中必须指定子查询的别名,否则会出错。 别名的命名必须在别名的使用之前,否则会出错,建议别名不要重名。
[alias]; 关键字 ALL:返回重复的行。为默认选项。其后只能跟*,否则会出错。 DISTINCT:从结果集移除重复的行。 注意事项 所要查询的表必须是已经存在的表,否则会出错。 在嵌套查询中必须指定子查询的别名,否则会出错。 别名的命名必须在别名的使用之前,否则会出错,建议别名不要重名。
参考增强型跨源连接,在DLI上根据Doris所在的虚拟私有云和子网分别创建相应的增强型跨源连接,并绑定所要使用的Flink弹性资源池。参考“修改主机信息”章节描述,在增强型跨源中增加MRS的主机信息。 设置Doris的安全组,添加入向规则使其对Flink的队列网段放通。分别根据Doris的地址测试队列连通性。
booleanExpression ] 语法说明 利用WHERE子句过滤查询结果。 注意事项 所查询的表必须是已经存在的,否则会出错。 WHERE条件过滤,将不满足条件的记录过滤掉,返回满足要求的记录。 示例 找出数量超过3并且小于10的订单。 1 2 insert into temp SELECT * FROM
booleanExpression ] 语法说明 利用WHERE子句过滤查询结果。 注意事项 所查询的表必须是已经存在的,否则会出错。 WHERE条件过滤,将不满足条件的记录过滤掉,返回满足要求的记录。 示例 找出数量超过3并且小于10的订单。 1 2 insert into temp SELECT * FROM
booleanExpression ] 语法说明 利用WHERE子句过滤查询结果。 注意事项 所查询的表必须是已经存在的,否则会出错。 WHERE条件过滤,将不满足条件的记录过滤掉,返回满足要求的记录。 示例 找出数量超过3并且小于10的订单。 1 2 insert into temp SELECT * FROM
booleanExpression ] 语法说明 利用WHERE子句过滤查询结果。 注意事项 所查询的表必须是已经存在的,否则会出错。 WHERE条件过滤,将不满足条件的记录过滤掉,返回满足要求的记录。 示例 找出数量超过3并且小于10的订单。 1 2 insert into temp SELECT * FROM
booleanExpression ] 语法说明 利用WHERE子句过滤查询结果。 注意事项 所查询的表必须是已经存在的,否则会出错。 WHERE条件过滤,将不满足条件的记录过滤掉,返回满足要求的记录。 示例 找出数量超过3并且小于10的订单。 1 2 insert into temp SELECT * FROM
上传Jar包到OBS OBS控制台 将生成的UDF函数Jar包文件上传到OBS目录下。 5 创建DLI的UDF函数 DLI控制台 在DLI控制台的SQL作业管理界面创建使用的UDF函数。 6 验证和使用DLI的UDF函数 DLI控制台 在DLI作业中使用创建的UDF函数。 操作步骤 新建Ma
REVOKE_PRIVILEGE 队列权限的回收 SHOW_PRIVILEGES 查看其他用户具备的队列权限 database的格式为:databases.db_name database支持的Privilege权限类型可参见数据权限列表。 table的格式为:databases.db_name
REVOKE_PRIVILEGE 队列权限的回收 SHOW_PRIVILEGES 查看其他用户具备的队列权限 database的格式为:databases.db_name database支持的Privilege权限类型可参见数据权限列表。 table的格式为:databases.db_name
上传Jar包到OBS OBS控制台 将生成的UDTF函数Jar包文件上传到OBS目录下。 5 创建DLI的UDTF函数 DLI控制台 在DLI控制台的SQL作业管理界面创建使用的UDTF函数。 6 验证和使用DLI的UDTF函数 DLI控制台 在DLI作业中使用创建的UDTF函数。 操作步骤 新
示例价格仅供参考,实际计算请以DLI产品价格详情中的信息为准。 更多示例参考DLI产品价格详情。 计费构成分析 基于此案例,可详细计算出按需计费和包年/包月两种不同的计费模式的消费情况。 此案例中的单价仅为示例,且计算出的费用为估算值。单价的变动和实际场景中计算出来的费用可能会有偏差。请以华为云官网发布的数据为准。 计费模式
请参见流水与明细账单。 图3 查询数据存储的资源账单 查看数据扫描量的资源账单 DLI的default队列采用数据扫描量的计费方式。扫描量计费=单价*扫描量数据(GB)。怎样查看DLI的数据扫描量? 您可以在费用中心查询DLI数据扫描量的资源账单。 在控制台顶部菜单栏中选择“费用与成本
中优先抵扣弹性资源池CU时套餐包的规格额度,超过额度的使用量按需计费。弹性资源池的CU时套餐包的额度每个月会重置。 弹性资源池单个计费周期内小于1CU的向上取整。 弹性资源池扩缩容的开始时间点是以实际扩缩容成功后时间点开始计算,不是按照扩缩容配置的时间开始计费。 弹性资源池队列扩