检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果建表时不指定该参数,驱动会自动通过ClickHouse的url提取。 如果建表时指定该参数,则该参数值固定为“ru.yandex.clickhouse.ClickHouseDriver”。
job_id 否 String 此SQL将生成并提交一个新的作业,返回作业ID。用户可以使用作业ID来查询作业状态和获取作业结果。
ALTER VIEW 语法 ALTER VIEW view_name AS select_statement; ALTER VIEW view_name SET TBLPROPERTIES table_properties; 描述 “ALTER VIEW view_name AS
TableName:CloudTable中的表名,在保存时如果没有表名,系统会自动创建。
HAVING 过滤 GROUP BY 生成的数据行。 HAVING 条件中的每一列引用必须是明确的 grouping 列,除非它出现在聚合函数中。 即使没有 GROUP BY 子句,HAVING 的存在也会使查询变成一个分组查询。
MAP 一组无序的键/值对,使用给定的Key和Value对生成MAP。键的类型必须是原生数据类型,值的类型可以是原生数据类型或复杂数据类型。同一个MAP键的类型必须相同,值的类型也必须相同。
若未配置,则会自动通过URL提取。 username 否 无 String 数据库认证用户名,需要和'password'一起配置。 password 否 无 String 数据库认证密码,需要和'username'一起配置。
Quantile digest函数 概述 Quantile digest(分位数摘要)是存储近似百分位信息的数据草图。HetuEngine中用qdigest表示这种数据结构。 函数 merge(qdigest) → qdigest 描述:将所有输入的qdigest数据合并成一个qdigest
read.streaming.start-commit 否 默认从最新 commit String Stream和Batch增量消费,指定“yyyyMMddHHmmss”格式时间的开始消费位置(闭区间) hoodie.datasource.write.keygenerator.type 否 COMPLEX Enum 上游表主键生成类型
job_id 否 String 提交请求成功时,生成并提交一个新的作业,返回作业ID。用户可以使用作业ID来查询作业状态和获取作业结果。
DLI计算引擎版本生命周期 版本号说明 DLI计算引擎版本号:格式为计算引擎名称 x.y.z,其中计算引擎分为Flink和Spark,版本号具体含义如图1所示。 图1 DLI计算引擎版本号 版本支持情况 Flink计算引擎推荐版本:Flink 1.15。 Spark计算引擎推荐版本
T-Digest函数 概述 T-digest是存储近似百分位信息的数据草图。HetuEngine中用tdigest表示这种数据结构。T-digest可以合并,在存储时可以强转为VARBINARY,检索时再由VARBINARY转换为T-digest 函数 merge(tdigest)
Flink会自动移除选项名中的 "properties." 前缀,并将转换后的键名以及值传入KafkaClient。 例如:您可以通过 'properties.allow.auto.create.topics' = 'false' 来禁止自动创建 topic。
图3 弹性资源池队列扩缩容策略结果图形化 图4 弹性资源池队列扩缩容策略图像化展示 后续到了队列扩缩容策略配置的时间,会生成一个扩缩容任务。具体可以在“作业管理 > SQL作业”下查看作业类型为“SCALE_QUEUE”的作业。 父主题: 管理弹性资源池
使用HetuEngine on Hudi HetuEngine是高性能的交互式SQL分析及数据虚拟化引擎,它与大数据生态无缝融合,实现海量数据秒级交互式查询,并支持跨源跨域统一访问,使能数据湖内、湖间、湖仓一站式SQL融合分析。 HetuEngine对Hudi仅支持select操作
为什么Spark3.x的作业日志中打印找不到global_temp数据库 问题描述 Spark3.x的作业日志中提示找不到global_temp数据库。 根因分析 global_temp数据库是Spark3.x默认内置的数据库,是Spark的全局临时视图。 通常在Spark作业执行注册
auto_recovery 否 Boolean 是否开启重试功能,如果开启,可在Spark作业异常失败后自动重试。默认值为“false”。 max_retry_times 否 Integer 最大重试次数。最大值为“100”,默认值为“20”。
队列名称不区分大小写,系统会自动转换为小写。 类型:队列类型选择“通用队列”。“按需计费”时需要勾选“专属资源模式”。 AZ策略、CPU架构、规格:保持默认即可。 企业项目:当前选择为“default”。 高级选项:选择“自定义”。 网段:配置队列网段。
队列名称不区分大小写,系统会自动转换为小写。 类型:队列类型选择“通用队列”。“按需计费”时需要勾选“专属资源模式”。 AZ策略、CPU架构、规格:保持默认即可。 企业项目:当前选择为“default”。 高级选项:选择“自定义”。 网段:配置队列网段。
本示例将演示DLI直接对存储在OBS中的TPC-H数据集进行查询的操作,DLI已经预先生成了100M的TPC-H-2.18的标准数据集,已将数据集上传到了OBS的tpch文件夹中,并且赋予了只读访问权限,方便用户进行查询操作。