检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
方言可以通过 table.sql-dialect 属性指定 1 set table.sql-dialect=hive; 注意事项 Hive方言只能用于操作Hive对象,并要求当前Catalog是一个HiveCatalog 。 Hive方言只支持db.table这种两级的标识符,不支持
BIGINT类型常量。搜索的开始位置。不指定时默认值为1。 occurrence 否 BIGINT BIGINT类型常量。指定匹配次数,不指定时默认值为1,表示搜索第一次出现的位置。 return_option 否 BIGINT BIGINT类型常量。指定返回的位置。值为0或1,不指定时默认值为0,其他类型
字符类型 名称 描述 VARCHAR(n) 变长字符串,n指字节长度。 CHAR(n) 定长字符串,不足补空格。n是指字节长度,如不带精度n,默认为1。 VARBINARY 变长二进制数据。需要带上前缀X,如:X'65683F',暂不支持指定长度的二进制字符串。 JSON 取值可以是a
test_sparkapp.dli_rds USING JDBC OPTIONS ('url'='jdbc:mysql://%s'," \ "'driver'='com.mysql.jdbc.Driver','dbtable'='test.test'," \
SQL作业中存在join操作,因为自动广播导致内存不足,作业一直运行中 问题现象 SQL作业中存在join操作,作业提交后状态一直是运行中,没有结果返回。 问题根因 Spark SQL作业存在join小表操作时,会触发自动广播所有executor,使得join快速完成。但同时该操
java样例代码 开发说明 redis只支持增强型跨源。只能使用包年包月队列。 前提条件 在DLI管理控制台上已完成创建增强跨源连接,并绑定包年包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或
operator (sub_query) | [NOT] EXISTS sub_query}; 关键字 ALL:返回重复的行。为默认选项。其后只能跟*,否则会出错。 DISTINCT:从结果集移除重复的行。 WHERE:WHERE子句嵌套将利用子查询的结果作为过滤条件。 operat
scala样例代码 开发说明 mongo只支持增强型跨源。只能使用包年包月队列。 DDS即文档数据库服务,兼容MongoDB协议。 在DLI管理控制台上已完成创建增强跨源连接,并绑定包年/包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者
aggregate_func(col_name) operator (sub_query); 关键字 ALL:返回重复的行。为默认选项。其后只能跟*,否则会出错。 DISTINCT:从结果集移除重复的行。 groupby_expression:可以是单字段,多字段,也可以是聚合函数,字符串函数等。
添加列 功能描述 添加一个或多个新列到表上。 语法格式 1 ALTER TABLE [db_name.]table_name ADD COLUMNS (col_name1 col_type1 [COMMENT col_comment1], ...); 关键字 ADD COLUMNS:添加列。
erberos认证集群。参考“创建角色和用户”章节添加用户并赋权。 参考《使用HBase客户端》使用1中创建的用户认证登录。“人机”用户第一次登录时需修改密码。 登录Manager界面,选择“系统 > 权限 > 用户”,选择新建用户,选择“更多 > 下载认证凭据”,保存后解压得到用户的keytab文件与krb5
scala样例代码 开发说明 redis只支持增强型跨源。只能使用包年包月队列。 前提条件 在DLI管理控制台上已完成创建增强跨源连接,并绑定包年包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件
此处显示“default”队列,default队列为体验使用,建议重新创建队列。具体队列创建可以参考创建弹性资源池并添加队列。 SQL作业只能在队列类型为“SQL队列”下执行。 数据目录 数据目录(Catalog)是元数据管理对象,它可以包含多个数据库。 您可以在DLI中创建并管
使用HetuEngine on Hudi HetuEngine是高性能的交互式SQL分析及数据虚拟化引擎,它与大数据生态无缝融合,实现海量数据秒级交互式查询,并支持跨源跨域统一访问,使能数据湖内、湖间、湖仓一站式SQL融合分析。 HetuEngine对Hudi仅支持select操
以大写形式返回字符串。 LOWER(string) 以小写形式返回字符串。 POSITION(string1 IN string2) 返回 STRING2 中第一次出现 STRING1 的位置(从 1 开始); 如果在 STRING2 中找不到 STRING1 返回 0。 TRIM([ BOTH | LEADING
protocols 用于指定Kyuubi服务支持的前端协议。Kyuubi支持多种前端协议,允许用户通过不同的接口与Kyuubi进行交互。 是 mysql thrift_binary kyuubi.engine.dli.schema.show.name 用于指定当用户执行show schemas或show
华为云根据客户等级定义了不同客户的宽限期和保留期时长。 在DLI资源到期前均可开通自动续费,到期前7日凌晨3:00首次尝试自动续费,如果扣款失败,每天凌晨3:00尝试一次,直至DLI资源到期或者续费成功。到期前7日自动续费扣款是系统默认配置,您也可以根据需要修改此扣款日。 父主题: 续费
datasource.hbase CloudTable/MRS OpenTSDB: sys.datasource.opentsdb RDS MySQL: sys.datasource.rds RDS PostGre: 不需要选 DWS: 不需要选 CSS: sys.datasource
'connector.class-name' = '' ); 参数说明 表1 参数说明 参数 是否必选 说明 connector.type 是 只能为user-defined,表示使用自定义的source。 connector.class-name 是 source函数的全限定类名。 connector
scale.interval 30 该配置表示检测当前作业是否需要动态扩缩的时间周期,其单位为分钟,默认值为30。例如30表示每隔30分钟进行一次检测,判断是否需要对作业使用资源量进行扩缩。 注意:只有当用户开启动态扩缩时,该配置才有意义。 flink.dli.job.cu.max 用户CU初始值