检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hudi当前只有int、bigint、float、double、decimal、string、date、timestamp、boolean、binary类型支持设置默认值。 Hudi表必须指定primaryKey与preCombineField。 在指定路径下创建表时，如果路径下已存在Hudi表，则建
在“程序包管理”页面，单击程序包“操作 ”列中的“更多 > 修改所有者”。 如果该程序包进行过分组设置，选择“组”或者“程序包”进行修改。 图1 修改程序包所有者 如果该程序包没有进行过分组设置，则可以参考下图，直接修改该程序包的所有者。 图2 程序包管理-修改程序包所有者 表1 参数说明
predicate on partitioned table `777dd`.`test_delta_parts1` 解决方案：在console页面设置中添加参数spark.sql.forcePartitionPredicatesOnPartitionedTable.enabled值为false。
本文介绍了DLI服务提供的V3版本的SDK，列举了最新版本SDK的获取地址。 SDK列表 表1提供了DLI云服务支持的SDK列表，您可以在GitHub仓库查看SDK更新历史、获取安装包以及查看指导文档。 表1 SDK列表 编程语言 Github地址 参考文档 视频指导 Java huaweicloud-sdk-java-v3
离线Compaction配置 对于MOR表的实时业务，通常设置在写入中同步生成compaction计划，因此需要额外通过DataArts或者脚本调度SparkSQL去执行已经产生的compaction计划。 执行参数 set hoodie.compact.inline = true;
Hudi存储结构 Hudi在写入数据时会根据设置的存储路径、表名、分区结构等属性生成Hudi表。 在DLI环境，Hudi表的数据文件存储在OBS上，因此可以通过查看OBS文件检查。 如下，展示了Hudi 多级分区COW表存储结构的示意。 hudi_table ├── .hoodie
TUMBLE窗口结束之前，可以根据设置的触发频率周期性地触发窗口，输出从窗口开始时间到当前周期时间窗口内的计算结果值，但不影响最终窗口输出值，从而在窗口结束前的每个周期都可以看到最新的结果。 提高数据的精确性 在窗口结束后，允许设置延迟时间。根据设置的延迟时间，每到达一个迟到数据，则更新窗口的输出结果
TUMBLE窗口结束之前，可以根据设置的触发频率周期性地触发窗口，输出从窗口开始时间到当前周期时间窗口内的计算结果值，但不影响最终窗口输出值，从而在窗口结束前的每个周期都可以看到最新的结果。 提高数据的精确性 在窗口结束后，允许设置延迟时间。根据设置的延迟时间，每到达一个迟到数据，则更新窗口的输出结果
- interval '3' year - interval '5' month 2-7 时区转换 运算符：AT TIME ZONE，用于设置一个时间戳的时区。 SELECT timestamp '2012-10-31 01:00 UTC';-- 2012-10-31 01:00:00
用户执行Flink Opensource SQL, 采用Flink 1.10版本。初期Flink作业规划的Kafka的分区数partition设置过小或过大，后期需要更改Kafka区分数。 解决方案 在SQL语句中添加如下参数： connector.properties.flink.partition-discovery
024 分区表桶数 = 单分区数据量大小(G)/2G，再后向上取整，最小设置1个桶 需要使用的是表的总数据大小，而不是压缩以后的文件大小 桶的设置以偶数最佳，非分区表最小桶数请设置4个，分区表最小桶数请设置1个。 父主题： Bucket调优示例
SparkDataSource（option里设置如下参数，写数据时触发） hoodie.clean.automatic=true hoodie.cleaner.commits.retained=10 // 默认值为10，根据业务场景指定 Flink（with属性里设置如下参数，写数据时触发） clean
添加Python包后，找不到指定的Python环境 添加Python3包后，找不到指定的Python环境。 可以通过在conf文件中，设置spark.yarn.appMasterEnv.PYSPARK_PYTHON=python3，指定计算集群环境为Python3环境。 目前，新
由于Optimize是一项耗时的活动，因此需要根据更好的最终用户查询性能与优化计算时间之间的权衡来确定运行Optimized的频率。 分区表优化需要设置参数spark.sql.forcePartitionPredicatesOnPartitionedTable.enabled为false。
using json options(path 'obs://....') using json：指定使用 JSON 格式。 options：用于设置表的选项。 path：指定OBS中JSON文件的路径。 父主题： SQL作业开发类
"ip":"192.168.0.1", "name":"ecs-97f8-0001" }, { "ip":"192.168.0.2", "name":"ecs-97f8-0002" } ] } 响应示例 { "is_success":
Bitwise函数 bit_count(x, bits) → bigint 计算2的补码表示法中x中设置的位数（视为有符号位的整数）。 SELECT bit_count(9, 64); -- 2 SELECT bit_count(9, 8); -- 2 SELECT bit_count(-7
队列相关API（推荐） 包括创建队列、删除队列、查询所有队列、修改队列网段、重启/扩容/缩容队列和查询队列详情、创建指定地址连通性测试请求、查询指定地址连通性请求、创建队列定时扩缩容计划、查询队列定时扩缩容计划、批量删除队列定时扩缩容计划、单个删除队列定时扩缩容计划、修改队列定时扩缩容计划。
规则4：|可以用来配置多种规则，规则之间用“|”分隔。 规则5：当想将“_”作为匹配条件时，可以使用ESCAPE 指定一个转义字符，对“_”进行转义，以免按照规则1对“_”进行解析。 父主题： DDL 语法
SELECT命令用于查询OpenTSDB表中的数据。 若OpenTSDB上不存在metric，查询对应的DLI表会报错。 若OpenTSDB开了安全模式，则访问时，需要设置conf:dli.sql.mrs.opentsdb.ssl.enabled=true 语法格式 1 SELECT * FROM table_name
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
