检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据库认证密码，需要和'username'一起配置。 sink.buffer-flush.max-rows 否 100 Integer 每次写入请求缓存的最大行数。 它能提升写入数据的性能，但是也可能增加延迟。 设置为 "0" 关闭此选项。 sink.buffer-flush.interval 否 1s
DLI SDK功能矩阵 SDK开发指南指导您如何安装和配置开发环境、如何通过调用DLI SDK提供的接口函数进行二次开发。 Java、Python SDK功能矩阵请参见表1 表1 SDK功能矩阵 语言 功能 内容 Java OBS授权 介绍将OBS桶的操作权限授权给DLI的Java
在Spark SQL作业中使用UDF 操作场景 DLI支持用户使用Hive UDF（User Defined Function，用户定义函数）进行数据查询等操作，UDF只对单行数据产生作用，适用于一进一出的场景。 约束限制 在DLI Console上执行UDF相关操作时，需要使用自建的SQL队列。
Long Insert作业执行过程中扫描的记录条数。 bad_row_count 否 Long Insert作业执行过程中扫描到的错误记录数。 input_size 是 Long 作业执行过程中扫描文件的大小。 result_count 是 Integer 当前作业返回的结果总条数或insert作业插入的总条数。
计费相关问题 DLI的计费模式有哪些？ 包年/包月计费模式的DLI资源可以和按需计费模式相互转换吗？ 数据湖队列什么情况下是空闲状态？ 怎样排查DLI计费异常？ 已购买套餐包，为什么仍然产生按需计费？ 怎样查看套餐包资源的使用情况？ 怎样查看DLI的数据扫描量？ 按需计费的弹性资源池，如果没提交作业运行就不计费？
dynamic_0002 Scan partitions number 对单个表操作（select，delete，update，alter）涉及的分区数超限制。 dynamic spark 提示 拦截 取值范围：1-500000 默认值：5000 是 select * from 分区表 running_0002
DataSource语法和Hive语法主要区别在于支持的表数据存储格式范围、支持的分区数等有差异。两种语法创建OBS表主要差异点参见表1。 表1 DataSource语法和Hive语法创建OBS表的差异点 语法 支持的数据类型范围 创建分区表时分区字段差异 支持的分区数 DataSource语法 支持ORC，PARQUET，JSON，CSV，AVRO类型
在Spark SQL作业中使用UDAF 操作场景 DLI支持用户使用Hive UDAF（User Defined Aggregation Function，用户定义聚合函数）可对多行数据产生作用，通常与groupBy联合使用；等同于SQL中常用的SUM()，AVG()，也是聚合函数。
访问ClickHouse数据库账号的密码。 connector.write.flush.max-rows 否 5000 Integer 写数据时刷新数据的最大行数，默认值为：5000。 connector.write.flush.interval 否 0 Duration 刷新数据的时间间隔，单位可以
在Spark SQL作业中使用UDTF 操作场景 DLI支持用户使用Hive UDTF（User-Defined Table-Generating Functions）自定义表值函数，UDTF用于解决一进多出业务场景，即其输入与输出是一对多的关系，读入一行数据，输出多个值。 约束限制
index_bootstrap.tasks 否 环境默认并行度 Integer “index.bootstrap.enabled”开启后有效，增加任务数提升启动速度，默认值为环境默认并行度。 hoodie.bucket.index.num.buckets 否 5 Integer Hudi表中
查看赋权对象使用者权限信息 功能介绍 获取对象赋权用户的权限信息。 调试 您可以在API Explorer中调试该接口。 URI URI格式： GET /v1.0/{project_id}/authorization/privileges 参数说明： 表1 URI 参数 参数名称
BY能够用于指定分区的列；CLUSTERED BY能够被用于指定分桶的列；SORT BY和 SORTED BY能够用于给指定的分桶列进行排序；BUCKETS能够被用于指定分桶数；EXTERNAL可用于指定创建外部表；STORED AS能被用于指定文件存储的格式；LOCATION能被用于指定在OBS上存储的路径。 示例
Python SDK概述 操作场景 DLI SDK让您无需关心请求细节即可快速使用数据湖探索服务。本节操作介绍如何在Python环境获取并使用SDK。 使用须知 要使用DLI Python SDK访问指定服务的 API ，您需要确认已在DLI管理控制台开通当前服务并完成服务授权。
最新动态 本文介绍了数据湖探索DLI各特性版本的功能发布和对应的文档动态，新特性将在各个区域（Region）陆续发布，欢迎体验。 2020年8月 序号 功能名称 功能描述 阶段 相关文档 1 集成TPC-H测试套件 用户可以通过DLI内置的TPC-H测试套件进行简单高效的交互式查
Java SDK概述 操作场景 DLI Java SDK 让您无需关心请求细节即可快速使用数据湖探索服务。本节操作介绍如何获取并使用Java SDK 。 使用须知 要使用DLI Java SDK 访问指定服务的 API ，您需要确认已在DLI控制台开通当前服务并完成服务授权。 Java
数据赋权（用户）（废弃） 功能介绍 该API用于将数据库或数据表的数据权限赋给指定的其他用户。 被赋权用户所在用户组的所属区域需具有Tenant Guest权限。 关于Tenant Guest权限的介绍和开通方法，详细参见权限策略和《统一身份认证服务 用户指南》中的创建用户组。 当前接口已废弃，不推荐使用。
partition.upper-bound必须同时配置或者同时都不配置。 scan.fetch-size 否 0 Integer 每次从数据库拉取数据的行数。默认值为0，表示不限制。 示例 该示例是从DWS数据源中读取数据，并写入到Print结果表中，其具体步骤参考如下： 在DWS中创建相应的表
欠费说明 用户在使用DLI服务时，账户的可用额度小于待结算的账单，即被判定为账户欠费。欠费后，可能会影响云服务资源的正常运行，请及时充值。 欠费原因 已购买套餐包，但使用量超出套餐包额度，进而产生按需费用，同时账户中的余额不足以抵扣产生的按需费用。请参考已购买套餐包，为什么仍然产
返回3 HOUR(timestamp) BIGINT 从 SQL 时间戳 timestamp 返回小时单位部分的小时（0 到 23 之间的整数）数。相当于 EXTRACT(HOUR FROM timestamp)。 例如 MINUTE(TIMESTAMP '1994-09-27 13:14:15')
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
