检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
已经给表授权,但是提示无法查询怎么办? 已经给表授权,且测试查询成功,但一段时间后重试报错无法查询,此时应先检查当前表的权限是否还存在, 检查权限是否仍然存在: 如用户权限被取消则可能导致提示权限缺失无法查询表数据。 查看表的创建时间: 查看表是否被他人删除重建,删除表后重建的相
数据湖队列什么情况下是空闲状态? 队列空闲状态是指在DLI 作业管理中,该队列下均无SQL 作业运行,或者 Flink 作业运行、Spark 作业运行。 即一个自然小时内无作业运行,该自然小时为空闲状态。不会进行计费。 通常按需计费的队列,在空闲1h后计算资源会被释放,再次使用时
全局变量的使用中,一个子账号是否可以使用其他子账号创建的全局变量 全局变量可用于简化复杂参数。例如,可替换长难复杂变量,提升SQL语句可读性。 全局变量的使用具有以下约束限制: 存量敏感变量只有创建用户才能使用,其余普通全局变量同账号同项目下的用户共用。 如果同账号同项目下存在多
0/{project_id}/streaming/flink-jobs {project_id}信息请从获取项目ID获取。 请求参数说明详情,请参见创建数据库(废弃)。 请求示例 描述:在项目ID为48cc2c48765f481480c7db940d6409d1项目下,创建Flink自定义作业。
执行时间。 或者在“队列管理”页面,查看“规格”大小是否改变来判断是否扩缩容成功。 或者在“作业管理”页面,查看“SCALE_QUEUE”类型作业的状态,如果作业状态为“规格变更中”,表示队列正在扩缩容中。 修改弹性扩缩容定时任务 如果设定的定时任务不再满足业务需求,可以在“弹性
java样例代码 开发说明 本样例只适用于MRS的OpenTSDB。 前提条件 在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。
java样例代码 开发说明 本样例只适用于MRS的HBase。 前提条件 在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。
java样例代码 开发说明 redis只支持增强型跨源。只能使用包年包月队列。 前提条件 在DLI管理控制台上已完成创建增强跨源连接,并绑定包年包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或
connections/{connection_id} {project_id}信息请从获取项目ID获取。 查询参数说明详情,请参见创建数据库(废弃)。 请求示例 描述:查询项目ID为48cc2c48765f481480c7db940d6409d1下连接ID为2a620c33-5
pyspark样例代码 开发说明 支持对接CloudTable的OpenTSDB和MRS的OpenTSDB。 前提条件 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置
pyspark样例代码 开发说明 支持对接CloudTable的HBase和MRS的HBase。 前提条件 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。
DLI API类 如何获取AK/SK? 如何获取项目ID? 提交SQL作业时,返回“unsupported media Type”信息 创建SQL作业的API执行超过时间限制,运行超时报错 API接口返回的中文字符为乱码,如何解决?
Flink作业相关API 新建SQL作业 更新SQL作业 新建Flink Jar作业 更新Flink Jar作业 批量运行作业 查询作业列表 查询作业详情 查询作业执行计划 批量停止作业 删除作业 批量删除作业 导出Flink作业 导入Flink作业 生成Flink SQL作业的静态流图
parquet-jackson-1.12.2.jar commons-text-1.10.0.jar jetty-io-9.4.41.v20210516.jar postgresql-42.3.5.jar commons-validator-1.7.jar jetty-rewrite-9.4.43.v20210629
Spark 2.4.5版本说明 数据湖探索(DLI)遵循开源Spark计算引擎的发布一致性。本文介绍Spark 2.4.5版本所做的变更说明。 更多Spark 2.4.5版本说明请参考Spark Release Notes。 Spark 2.4.5版本发布时间 版本名称 发布时间
Spark 3.3.1版本说明 数据湖探索(DLI)遵循开源Spark计算引擎的发布一致性。本文介绍Spark 3.3.1版本所做的变更说明。 更多Spark 3.3.1版本说明请参考Spark Release Notes。 Spark 3.3.1版本发布时间 版本名称 发布时间
历史API 委托相关API(废弃) 分组资源相关API(废弃) Spark批处理相关API(废弃) SQL作业相关API(废弃) 资源相关API(废弃) 权限相关API(废弃) 队列相关API(废弃) 跨源认证相关API(废弃) 增强型跨源连接相关API(废弃) 模板相关API(废弃)
模板相关API(废弃) 查询所有SQL样例模板(废弃) 父主题: 历史API
使用客户端工具连接DLI 使用JDBC提交SQL作业 使用Spark-submit提交Spark Jar作业 使用Livy提交Spark Jar作业
Flink作业委托场景开发指导 Flink Opensource SQL使用DEW管理访问凭据 Flink Jar 使用DEW获取访问凭证读写OBS 获取Flink作业委托临时凭证用于访问其他云服务 父主题: Flink作业开发指南