检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SELECT 细粒度权限:dli:table:select 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 系统响应 可以检查任务状态是否成功,查看任务结果,查看任务日志确认有无异常。 父主题: Hudi CALL COMMAND语法说明
SQL作业运行失败,日志中有connect to DIS failed java.lang.IllegalArgumentException: Access key cannot be null错误 Flink SQL作业消费Kafka后sink到es集群,作业执行成功,但未写入数据 Flink
表的ALTER权限 细粒度权限:dli:table:alter。 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 示例 ALTER TABLE table1 RENAME TO table2 系统响应 通过运行SHOW TABLES查看新的表名。 父主题:
dli:table:insertIntoTable, dli:table:delete。 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 示例 部分字段更新 create table h0(id int, comb int, name string, price int)
【SPARK-32272】:添加SQL标准命令SET TIME ZONE。 【SPARK-21492】:修复排序合并加入中的内存泄漏。 【SPARK-27812】:K8S客户端版本提升到4.6.1。 DLI从Spark 3.x版本开始不支持内置地理空间查询函数。 父主题: 版本支持公告
表的ALTER权限 细粒度权限:dli:table:alter。 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 示例 ALTER TABLE table1 DROP COLUMN a.b.c ALTER TABLE table1 DROP COLUMNS
表的ALTER权限 细粒度权限:dli:table:alter。 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 示例 alter table h0 add columns(ext0 string); alter table h0 add columns(new_col
添加分区(只支持OBS表) 功能描述 创建OBS分区表成功后,OBS表实际还没有生成分区信息。生成分区信息主要有以下两种场景: 给OBS分区表插入对应的分区数据,数据插入成功后OBS表才会生成分区元数据信息,后续则可以根据对应分区列进行查询等操作。 手工拷贝分区目录和数据到OBS
Hbase HBase连接器支持读取和写入HBase集群。本文档介绍如何使用HBase连接器基于HBase进行SQL查询。 HBase连接器在upsert模式下运行,可以使用 DDL 中定义的主键与外部系统交换更新操作消息。但是主键只能基于HBase的rowkey字段定义。如果没
schema 进行解析和生成CSV 数据。目前的CSV schema 是基于table schema 推导出来的。更多具体使用可参考开源社区文档:CSV Format。 支持的Connector Kafka Upsert Kafka FileSystem 参数说明 表1 参数说明 参数
Format 能读写 JSON 格式的数据。当前,JSON schema 是从 table schema 中自动推导而得的。更多具体使用可参考开源社区文档:JSON Format。 支持的Connector Kafka Upsert Kafka Elasticsearch 参数说明 表1 参数
内置函数 具体使用请参考开源社区文档:内置函数。 比较函数 逻辑函数 算术函数 字符串函数 时间函数 条件函数 类型转换函数 集合函数 JSON函数 值构建函数 值获取函数 分组函数 Hash函数 聚合函数 表值函数 父主题: 函数
云搜索服务CSS相关介绍请参考《云搜索服务产品介绍》。 分布式缓存服务DCS相关介绍请参考《分布式缓存服务产品介绍》。 文档数据库服务DDS相关介绍请参考《文档数据库服务产品介绍》。 数据仓库服务GaussDB(DWS)相关介绍请参考《数据仓库服务产品介绍》。 MapReduce
Spark开源命令支持说明 本章节介绍了目前DLI对开源的Spark SQL语法的支持情况。详细的语法、参数说明,示例等信息请参考Spark官方文档。 表1 DLI Spark开源命令支持说明 功能描述 语法示例 DLI Spark 2.4.5 DLI Spark 3.3.1 创建数据库
Avro格式允许基于Avro schema 读取和写入Avro 数据。目前,Avro schema 从表schema 推导。 更多具体使用可参考开源社区文档:Avro Format。 支持的Connector Kafka Upsert Kafka FileSystem 参数说明 表1 参数说明
Orc Format 功能描述 Apache Orc Format允许读写ORC数据。更多具体使用可参考开源社区文档:Orc Format。 支持的Connector FileSystem 参数说明 表1 参数说明 参数 是否必选 默认值 类型 描述 format 是 无 String
DLI API类 如何获取AK/SK? 如何获取项目ID? 提交SQL作业时,返回“unsupported media Type”信息 创建SQL作业的API执行超过时间限制,运行超时报错 API接口返回的中文字符为乱码,如何解决?
版本支持公告 DLI计算引擎版本生命周期 Flink 1.15版本说明 Flink 1.12版本说明 Spark 3.3.1版本说明 Spark 3.1.1版本说明 Spark 2.4.5版本说明 Spark 2.4.x与Spark 3.3.x版本差异对比
产品公告 DLI Spark 3.1.1版本停止服务(EOS)公告 DLI“包年/包月”和“按需计费”计费模式队列和“队列CU时套餐包”下线(EOL)公告 DLI经典型跨源连接下线(EOL)公告 DLI Flink 1.10、Flink 1.11版本停止服务(EOS)公告 DLI
ticsearch 的文档ID,文档ID为最多512字节且不包含空格的字符串。 Elasticsearch连接器通过使用 document-id.key-delimiter 指定的键分隔符按照 DDL 中定义的顺序连接所有主键字段,为每一行记录生成一个文档ID字符串。 某些类型不