检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用前必读 使用须知 DLI HetuEngine功能为白名单功能,如需使用,请在管理控制台右上角,选择“工单 > 新建工单”,提交申请。 使用前您需要先创建一个HetuEngine类型的SQL队列,具体操作请参考创建弹性资源池并添加队列。 HetuEngine SQL需搭配la
删除数据库(废弃) 功能介绍 该API用于删除空数据库,默认方式下,若待删除的数据库中存在表,则需先删除其中的所有表。删除表API请参见删除表(废弃)。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: DELETE /v1
者新增授权。 更多信息请参考在DLI控制台管理数据库资源。 IAM鉴权: 参考权限管理概述章节中的“IAM鉴权使用场景”。 Lakeformation元数据权限管理 参考DLI对接LakeFormation。 父主题: DLI中使用Delta开发作业
条件表达式 CASE表达式 语法格式 1 2 3 CASE value WHEN value1 [, value11 ]* THEN result1 [ WHEN valueN [, valueN1 ]* THEN resultN ]* [ ELSE resultZ ] END
每个资源中的键名不能重复。 单击“确定”,完成数据库标签的添加。 如需删除标签,在标签列表中,单击操作列中“删除”可对选中的标签进行删除。 数据表标签管理 在DLI管理控制台的左侧导航栏中,单击“数据管理> 库表管理”。 单击数据库名称,查看数据库下的数据表。 在数据表的操作列,选择“更多>
买包周期队列来降低使用成本。另外,对于明确需要使用多少CU时的作业,也可以提前购买对应的CU时套餐包,来降低使用成本。 企业中的业务模式较多且经常变化,成本管理员通常并不能全面及时了解花销较大的业务在哪里,哪些是合理的,哪些是不合理的,通过在DLI中对费用明细进行分析,可以及时发
预留关键字 表1罗列了系统预留的关键字,以及它们在其他SQL标准中是否为预留关键字。如果需要使用这些关键字作为标识符,请加注双引号。 表1 关键字 Keyword SQL:2016 SQL-92 ALTER reserved reserved AND reserved reserved
temp SELECT COALESCE(NULL, 5) FROM Orders; 父主题: Flink SQL语法参考(不再演进,推荐使用Flink OpenSource SQL)
conn.close(); 示例 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 本示例以ak和sk保存在环境变量中为例,运行本示例前请先在本地环境中设置环境变量System.getenv("AK")和System
object 否 String 该用户有权限的对象: “databases.数据库名.tables.表名”,用户在当前表上的权限。 “databases.数据库名.tables.表名.columns.列名”,用户在列上的权限。 privileges 否 Array<String> 该用户在相应object上的权限。
保留关键字 一些字符串的组合已经被预留为关键字以备未来使用。 如果使用以下字符串作为字段名,请在使用时使用反引号将该字段名包起来,例如 `value`, `count` 。 A, ABS, ABSOLUTE, ACTION, ADA, ADD, ADMIN, AFTER, ALL
表1 参数描述 参数 描述 db_name Database名称,由字母、数字和下划线(_)组成。不能是纯数字,且不能以下划线开头。 table_name Database中的表名,由字母、数字和下划线(_)组成。不能是纯数字,且不能以下划线开头。匹配规则为:^(?!_)(?![
列。 跨账号使用UDF时,除了创建UDF函数的用户,其他用户如果需要使用时,需要先进行授权才可使用对应的UDF函数。授权操作参考如下: 登录DLI管理控制台,选择“ 数据管理 > 程序包管理”页面,选择对应的UDF Jar包,单击“操作”列中的“权限管理”,进入权限管理页面,单击右上角“授权”,勾选对应权限。
GROUP BY中使用HAVING过滤 功能描述 利用HAVING子句在表分组后实现过滤。 语法格式 1 2 3 SELECT attr_expr_list FROM table_reference GROUP BY groupby_expression[, groupby_expression…
COMPUTED COLUMN 计算列是一个使用 “column_name AS computed_column_expression” 语法生成的虚拟列。它由使用同一表中其他列的非查询表达式生成,并且不会在表中进行物理存储。例如,一个计算列可以使用 cost AS price * quantity
Secret Access Key,与访问密钥ID结合使用的密钥。访问密钥获取方式请参见我的凭证。 bucket 是 数据所在的OBS桶名。 object_name 是 数据所在OBS桶中的对象名。如果对象不在OBS根目录下,则需添加文件夹名,例如:test/test.csv。对象文件格式参考“encode”参数。
在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 代码实现详解 import相关依赖包 1 2 3 from __future__ import
创建OBS表时怎样指定OBS路径 场景概述 创建OBS表时,OBS路径须指定到数据库下的具体表层路径。路径格式为:obs://xxx/数据库名/表名。 创建OBS表更多语法介绍请参考《数据湖探索Spark SQL语法参考》。 正确示例 CREATE TABLE `di_seller_
S的HBase中。 region 是 MRS服务所在区域。 cluster_address 是 待插入数据表所属集群zookeeper地址,形如:ip1,ip2:port。 table_name 是 待插入数据的表名。 支持参数化,例如当需要某一列或者几列作为表名的一部分时,可表
jar作业需要选择Spark版本为3.3.1,且使用的通用队列需要支持Hudi。 单击右上角的”创建作业”即可提交Spark jar的作业。 编写并打包Spark jar的程序包:(以Maven项目为例) 创建或使用现有的maven java项目,在 pom.xml 中引入scala 2.12,spark