检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
调用说明 数据湖探索提供了REST（Representational State Transfer）风格API，支持您通过HTTPS请求调用，调用方法请参见构造请求。 DLI API中除特殊说明外，通常为同步操作，即响应消息中的“is_success”为请求是否执行成功。 若AP
从控制台获取项目ID 调用API获取项目ID 项目ID可以通过调用查询指定条件下的项目信息API获取。 获取项目ID的接口为“GET https://{Endpoint}/v3/projects”，其中{Endpoint}为IAM的终端节点，可以从地区和终端节点获取。 响应示例如
// 打开异步清理 set hoodie.clean.automatic = false; // 关闭自动清理，防止compaction操作触发clean run compaction on $tablename;
云搜索服务用户指南》中创建集群章节。 如果需要通过集群账号和密码访问Elasticsearch，则创建的云搜索服务集群必须开启安全模式并且关闭https。 该场景作业需要运行在DLI的独享队列上，因此要与云搜索服务建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如
配置属性 spark.databricks.delta.retentionDurationCheck.enabled 设置为 false 来关闭此安全检查。 命令格式 VACUUM[database_name.]table_name|DELTA.`obs://bucket_name/tbl_path`
Integer 用户为作业选择的并发量。默认值为“1”。 log_enabled 否 Boolean 是否开启作业日志。 开启：true 关闭：false 默认：false obs_bucket 否 String 当“log_enabled”为“true”时，用户授权保存日志的OBS桶名。
park配置文件，关闭默认访问DLI元数据。 cd /home/ma-user/livy/conf/ vi spark-defaults.conf 使用#注释掉spark.dli.user.catalogName=dli，关闭默认访问DLI元数据。 图8 关闭默认访问DLI元数据
显示所有角色和用户的绑定关系 自定义函数相关语法 创建函数 删除函数 显示函数详情 显示所有函数 数据多版本相关语法 创建OBS表时开启数据多版本 修改表时开启或关闭数据多版本 设置多版本备份数据保留周期 查看多版本备份数据 恢复多版本备份数据 配置多版本过期数据回收站 清理多版本数据
port”分别获取。 若OpenTSDB服务配置项“tsd.https.enabled”的值为true，则sql语句中的“connector.tsdb-link-address”参数值格式为https://ip:port。若“tsd.https.enabled”为false，则“connector
该配置项用于启用或禁用动态分区修剪。在执行SQL查询时，动态分区修剪可以帮助减少需要扫描的数据量，提高查询性能。 配置为true时，代表启用动态分区修剪，SQL会在查询中自动检测并删除那些不满足WHERE子句条件的分区，适用于在处理具有大量分区的表时。 如果SQL查询中包含大量的嵌套left join操作，并且表有
gatk。 { "paths": [ "https://xkftest.obs.xxx.com/txr_test/jars/spark-sdv-app.jar", "https://xkftest.obs.xxx.com/txr_test/jars/wordcount"
J....”，则调用接口时将“X-Auth-Token: ABCDEFJ....”加到请求消息头即可，如下所示。 1 2 3 GET https://iam.cn-north-1.myhuaweicloud.com/v3/auth/projects Content-Type: application/json
它能提升写入数据的性能，但是也可能增加延迟。 设置为 "0" 关闭此选项。 sink.buffer-flush.interval 否 1s Duration 刷新缓存的间隔，在这段时间内以异步线程刷新数据。 它能提升写入数据的性能，但是也可能增加延迟。 设置为 "0" 关闭此选项。 注意："sink.buffer-flush
测试队列与RDS实例连通性。 单击“资源管理 > 队列管理”，选择步骤3：创建弹性资源池并添加队列添加的队列，单击“操作”列中的“更多 > 测试地址连通性”。 图6 检测地址连通性 输入步骤2：创建RDS数据库表中记录的RDS MySQL实例内网地址，进行网络连通性测试。 在RDS控制台“实例管理”页面，单
户。详细的退订规则请参见云服务退订规则概览。 如果您已开启“自动续费”功能，为避免继续产生费用，请在自动续费扣款日（默认为到期前7日）之前关闭自动续费。 按需计费资源 对于按需计费模式的资源： 按需计费的弹性资源，若不再使用这些资源且需停止计费，请删除相应资源。 按需计费的数据存
String 分隔数组和行元素的字符串(默认';'). csv.escape-character 否 (none) String 转义字符(默认关闭). csv.null-literal 否 (none) String 是否将 "null" 字符串转化为 null 值。 示例 使用kafka发送数据，输出到print中。
它能提升写入HBase数据库的性能，但是也可能增加延迟。 设置为 "0" 关闭此选项。 sink.buffer-flush.max-rows 否 1000 Integer 每次写入请求缓存的最大行数。 它能提升写入HBase数据库的性能，但是也可能增加延迟。 设置为 "0" 关闭此选项。 sink.buffer-flush
作业结果保存策略 结果保存策略设置 设置是否开启队列的作业查询结果保存至DLI作业桶。 仅Spark SQL队列支持设置该参数。 一旦开启此功能，将无法关闭，作业结果将始终保存至用户设置的DLI作业桶。 开启作业结果保存桶后，请务必确保已经配置DLI作业桶信息。配置DLI作业桶操作请参考配置DLI作业桶。
incremental.collect kyuubi会预加载select结果数据到缓存加快读取数据，数据量较大的场景防止内存OOM建议关闭。 否 false 配置为false代表关闭预加载。 kyuubi.engine.jdbc.memory jdbc engine进程内存。 默认为1g，建议改成5g以上加大jdbc
隔时间内没有时间出现，该窗口会被关闭。例如时间窗口的间隔时间是 30 分钟，当其不活跃的时间达到30分钟后，若观测到新的记录，则会启动一个新的会话时间窗口（否则该行数据会被添加到当前的窗口），且若在 30 分钟内没有观测到新纪录，这个窗口将会被关闭。会话时间窗口可以使用事件时间（批处理、流处理）或处理时间（流处理）。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
