检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
恢复多版本备份数据 功能描述 在DLI数据多版本功能开启后,您可以通过RESTORE TABLE命令恢复表或分区数据到指定版本。开启和关闭多版本语法请参考开启或关闭数据多版本。 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表,具体建表SQL语法可以参考使用Hive语法创建OBS表。
队列管理”,选择运行作业的队列,单击队列名称旁的按钮,获取队列的网段信息。 登录VPC控制台。找到数据源所在的VPC。 查找安全组名称,在“弹性网卡 > 更多 > 更改安全组”中可以查到所属安全组。 在左侧导航树选择“访问控制 > 安全组”。 单击外部数据源所属的安全组名称,进入安全组详情界面。 在“入方
创建DLI表关联Oracle 功能描述 使用CREATE TABLE命令创建DLI表并关联Oracle上已有的表。 前提条件 创建DLI表关联Oracle之前需要创建增强型跨源连接。 管理控制台操作请参考增强型跨源连接。 由于仅支持增强型跨源方式连接Oracle,且仅按需专属队列
查看多版本备份数据 功能描述 在DLI数据多版本功能开启后,您可以通过SHOW HISTORY命令查看表的备份数据。开启和关闭多版本语法请参考开启或关闭数据多版本。 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表,具体建表SQL语法可以参考使用Hive语法创建OBS表。
配置多版本过期数据回收站 功能描述 在DLI数据多版本功能开启后,过期的备份数据后续在执行insert overwrite或者truncate语句时会被系统直接清理。OBS并行文件系统可以通过配置回收站加速删除操作过期的备份数据。通过在表属性添加配置“dli.multi.version
如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 获取MRS集群全部节点的ip和域名映射,在DLI跨源连接修改主机信息中配置host映射。 如何添加IP域名映射,请参见《数据湖探索用户指南》中“修改主机信息”章节。 Kafka服务端的端口如果监听在hostname上,则需要将Kafka Br
Python SDK概述 操作场景 DLI SDK让您无需关心请求细节即可快速使用数据湖探索服务。本节操作介绍如何在Python环境获取并使用SDK。 使用须知 要使用DLI Python SDK访问指定服务的 API ,您需要确认已在DLI管理控制台开通当前服务并完成服务授权。
CREATE TABLE AS SELECT 命令功能 CREATE TABLE As SELECT命令通过指定带有表属性的字段列表来创建Hudi Table。在使用由DLI提供的元数据服务时仅可创建外表,即需要通过LOCATION指定表路径。 命令格式 CREATE TABLE
SQL作业运行慢如何定位 作业运行慢可以通过以下步骤进行排查处理。 可能原因1:FullGC原因导致作业运行慢 判断当前作业运行慢是否是FullGC导致: 登录DLI控制台,单击“作业管理 > SQL作业”。 在SQL作业页面,在对应作业的“操作”列,单击“更多 > 归档日志”。
Unicode代码点。不会显式检查UTF-8数据是否有效,对于无效的UTF-8数据,函数可能会返回错误的结果。可以使用from_utf8来更正无效的UTF-8数据。 此外,这些函数对Unicode代码点进行运算,而不是对用户可见的字符(或字形群集)进行运算。某些语言将多个代码点组
基本语句 功能描述 基本的查询语句,返回查询结果。 语法格式 1 2 3 4 5 6 7 SELECT [ALL | DISTINCT] attr_expr_list FROM table_reference [WHERE where_condition] [GROUP BY
RENAME COLUMN 命令功能 ALTER TABLE ... RENAME COLUMN语法用于修改列名称。 注意事项 如果您的表已经在所需的协议版本上,需要先执行如下语句才能修改成功: ALTER TABLE table_name SET TBLPROPERTIES ('delta
在Spark SQL作业中使用UDAF 操作场景 DLI支持用户使用Hive UDAF(User Defined Aggregation Function,用户定义聚合函数)可对多行数据产生作用,通常与groupBy联合使用;等同于SQL中常用的SUM(),AVG(),也是聚合函数。
查看赋权对象使用者权限信息 功能介绍 获取对象赋权用户的权限信息。 调试 您可以在API Explorer中调试该接口。 URI URI格式: GET /v1.0/{project_id}/authorization/privileges 参数说明: 表1 URI 参数 参数名称
使用JDBC连接DLI并提交SQL作业 操作场景 在Linux或Windows环境下您可以使用JDBC应用程序连接DLI服务端提交作业。 使用JDBC连接DLI提交的作业运行在Spark引擎上。 JDBC版本2.X版本功能重构后,仅支持从DLI作业桶读取查询结果,如需使用该特性需具备以下条件:
在Spark SQL作业中使用UDTF 操作场景 DLI支持用户使用Hive UDTF(User-Defined Table-Generating Functions)自定义表值函数,UDTF用于解决一进多出业务场景,即其输入与输出是一对多的关系,读入一行数据,输出多个值。 约束限制
拥有不同权限的用户组和用户。 DLI支持在创建弹性资源池时选择企业项目,本节操作为您介绍DLI弹性资源池如何绑定、修改企业项目。 修改弹性资源池的企业项目,会同时修改弹性资源池下的队列资源的企业项目。 即弹性资源池下仅支持添加同一企业项目的队列资源。 前提条件 在绑定企业项目前,
表相关 创建DLI表 DLI提供创建DLI表的接口。您可以使用该接口创建数据存储在DLI内部的表。示例代码如下: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 def create_dli_tbl(dli_client
配置参数: hoodie.schema.evolution.enable=true 命令功能 ALTER TABLE ... RENAME语法用于修改表名。 命令语法 ALTER TABLE tableName RENAME TO newTableName 参数描述 表1 RENAME参数描述
"without_any_tag":"false" } 响应示例 { "total_count": 1000 } 状态码 状态码 描述 200 修改成功。 400 请求错误。 500 内部服务器错误。 错误码 请参见错误码。 父主题: 资源标签相关API