检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark Jar作业开发指南 使用Spark Jar作业读取和查询OBS数据 使用Spark作业访问DLI元数据 使用Spark作业跨源访问数据源 Spark Jar 使用DEW获取访问凭证读写OBS 获取Spark作业委托临时凭证用于访问其他云服务
Delta Time Travel 查看Delta表历史操作记录 查询Delta表历史版本数据 还原Delta表到早期状态
air_backup_20230527'); 注意事项 命令只清理无效的parquet文件。 系统响应 可以检查任务状态是否成功,查看任务结果,查看任务日志确认有无异常。 父主题: Hudi CALL COMMAND语法说明
多版本备份恢复数据 设置多版本备份数据保留周期 查看多版本备份数据 恢复多版本备份数据 配置多版本过期数据回收站 清理多版本数据 父主题: 表相关
BI、SuperSet、Tableau和Beeline,它们可以通过Kyuubi建立与DLI的连接。Kyuubi是一个分布式SQL查询引擎,提供了标准的SQL接口,使得BI工具能够通过Kyuubi与DLI进行交互,执行数据查询和分析。 BI工具连接DLI的方案中使用了DLI SDK V2。 2024年5月起,新用户可以直接使用DLI
M:分钟数 S:秒数 nnn:毫秒数 128位 示例: -- 查询日期 SELECT DATE '2020-07-08'; _col0 ------------ 2020-07-08 (1 row) -- 查询时间 SELECT TIME '23:10:15'; _col0
队列相关API(废弃) 修改队列网段(废弃) 创建队列定时扩缩容计划(废弃) 查看队列定时扩缩容计划(废弃) 批量删除队列定时扩缩容计划(废弃) 单个删除队列定时扩缩容计划(废弃) 修改队列定时扩缩容计划(废弃) 父主题: 历史API
创建数据库和表 了解数据目录、数据库和表 在DLI控制台创建数据库和表 查看表元数据 在DLI控制台管理数据库资源 在DLI控制台管理表资源 创建并使用LakeFormation元数据
插入数据 1 sparkSession.sql("insert into dli_to_rds values(3,'John',24)") 查询数据 1 2 jdbcDF_after = sparkSession.sql("select * from dli_to_rds") jdbcDF_after
'obs://xxx/Spendings(ByTransaction)_20200501_20200531.csv', header true) 查询该时间内消费最高的resource_id, resource_name。 通过以下语句,可以发现sql和flink队列使用的费用均为184
是 kafka topic名 connector.properties.bootstrap.servers 是 kafka brokers地址,以逗号分隔 connector.sink-partitioner 否 记录分区方式,支持:'fixed', 'round-robin'及'custom'
connector.type 是 connector类型,对于redis,需配置为'redis'。 connector.host 是 redis连接地址。 connector.port 是 redis连接端口。 connector.password 否 redis认证密码。 connector
connector. table-name 是 hbase中的表名 connector.zookeeper.quorum 是 Zookeeper的地址 connector.zookeeper.znode.parent 否 Zookeeper中的根目录,默认是/hbase 示例 create
在“分配至项目”页面,选择企业项目。 您还可以单击“新建企业项目”,前往企业项目管理控制台,新建企业项目和查看已有的企业项目。 弹性资源池中的队列不计费,弹性资源池下队列切换的企业项目和计费无关。即不支持按企业项目查看弹性资源池中的队列资源计费信息。 修改完成后,单击“确定”,保存队列的企业项目信息。
property_value, ...)。 视图可以包含Limit和ORDER BY子句,如果关联视图的查询语句也包含了这类子句,则最后执行结果将根据视图的子句运算后得到。例如视图V指定了返回5条数据,而关联查询为select * from V limit 10,则最终只有5条数据返回。 限制 以上两种语法不可混用。
绑定企业项目 在创建弹性资源池资源时,可以在“企业项目”绑定已创建的企业项目。 您还可以单击“新建企业项目”,前往企业项目管理控制台,新建企业项目和查看已有的企业项目。 更多创建队列的操作步骤请参考创建弹性资源池并添加队列。 修改企业项目 针对之前已创建的集群,其绑定的企业项目可根据实际情况进行修改。
表会创建为外表。 query_statement select查询表达式 所需权限 SQL权限 表2 CREATE TABLE AS SELECT所需权限列表 权限描述 数据库的CREATE_TABLE权限 查询表的SELECT权限 细粒度权限:dli:database:createTable
在续费管理页面开通自动续费 登录管理控制台。 单击“控制台”页面上方“费用与成本”,在下拉菜单中选择“续费管理”。 进入“续费管理”页面。 自定义查询条件。 可在“自动续费项”页签查询已经开通自动续费的资源。 可对“手动续费项”、“到期转按需项”、“到期不续费项”页签的资源开通自动续费。 图2 续费管理 为包年/包月资源开通自动续费。
取rid的值,查询key为city1,返回6。由于包含.,只能用['']来解析。 select get_json_object(json, "$['city1'].region['id']") from json_table where id =1; 取rid的值,查询key为city1,返回7。查询方法有如下两种。
TABLE:恢复备份数据。 PARTITION:指定分区列。 TO VERSION:指定版本号。具体的版本号可以通过SHOW HISTORY命令获取,详情请参考查看多版本备份数据。 参数说明 表1 参数说明 参数 描述 db_name 数据库名称,由字母、数字和下划线(_)组成。不能是纯数字,且不能以数字和下划线开头。