检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
存储计费 DLI数据存储计费模式 存储资源是DLI服务内部的存储资源,用于存储数据库和DLI表。支持以下计费模式: 按需计费:按需计费是一种后付费模式,DLI支持使用按需计费模式购买数据存储。按照存储在DLI服务中的数据存储量(单位为“GB”)收取存储费用。
在“数据库”选项中选择要对接的DLI元数据中的数据库,即可对接到DLI元数据。 DLI通用队列对接DLI元数据方法: 请参考使用Spark作业访问DLI元数据。 DLI SQL队列对接Lakeformation元数据方法: 参考DLI对接LakeFormation。
登录RDS MySQL,并使用下述命令在flink库下创建orders表,并插入数据。创建数据库的操作可以参考创建RDS数据库。 在flink数据库库下创建orders表: CREATE TABLE `flink`.
Spark作业相关 完整样例代码和依赖包说明请参考:Python SDK概述。 提交批处理作业 DLI提供执行批处理作业的接口。您可以使用该接口执行批处理作业。示例代码如下: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
分区相关 添加分区(只支持OBS表) 重命名分区(只支持OBS表) 删除分区 指定筛选条件删除分区(只支持OBS表) 修改表分区位置(只支持OBS表) 更新表分区信息(只支持OBS表) REFRESH TABLE刷新表元数据 父主题: 表相关
添加Python包后,找不到指定的Python环境 添加Python3包后,找不到指定的Python环境。 可以通过在conf文件中,设置spark.yarn.appMasterEnv.PYSPARK_PYTHON=python3,指定计算集群环境为Python3环境。 目前,新建集群环境均已默认为
注意事项 所要创建的视图必须是当前数据库下不存在的,否则会报错。当视图存在时,可通过增加OR REPLACE关键字来避免报错。 视图中包含的表或视图信息不可被更改,如有更改可能会造成查询失败。
更多问题处理步骤,请参考DWS数据库连接问题。 父主题: Flink Jar作业类
1 2 3 4 5 6 7 sparkSession.sql( "CREATE TABLE IF NOT EXISTS dli_to_rds USING JDBC OPTIONS ( 'url'='jdbc:mysql://to-rds-1174404209-cA37siB6
条件函数 函数说明 表1 条件函数 条件函数 函数说明 CASE value WHEN value1_1 [, value1_2 ]* THEN result1 [ WHEN value2_1 [, value2_2 ]* THEN result2 ]* [ ELSE resultZ
( "CREATE TABLE IF NOT EXISTS dli_to_rds USING JDBC OPTIONS (\ 'url'='jdbc:mysql://to-rds-1174404952-ZgPo1nNC.datasource.com:3306
database_name 是 String 导入表所属的数据库名称。 table_name 是 String 导入表的名称。 with_column_header 否 Boolean 导入数据中的第一行数据是否包括列名,即表头。默认为“false”,表示不包括列名。
database_name 是 String 被导出数据的表所在的数据库名称。 table_name 是 String 被导出数据的表名称。 compress 是 String 导出数据的压缩方法。
DDS即文档数据库服务,兼容MongoDB协议。 前提条件 在DLI管理控制台上已完成创建增强跨源连接,并绑定包年/包月队列。具体操作请参考《数据湖探索用户指南》。
database_name 是 String 新增表所在的数据库名称。 请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 table_name 是 String 新增表名称。 表名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线开头。
authSource=admin" database DDS的数据库名,如果在"url"中同时指定了数据库名,则"url"中的数据库名不生效。
显示所有角色和用户的绑定关系 功能描述 在当前database显示角色与某用户的绑定关系。 语法格式 1 SHOW PRINCIPALS ROLE; 关键字 无。 注意事项 变量ROLE必须存在。 示例 1 SHOW PRINCIPALS role1; 父主题: 数据权限相关
使用gsjdbc4驱动连接时,加载的数据库驱动类为:org.postgresql.Driver。 使用gsjdbc200驱动连接时,加载的数据库驱动类为:com.huawei.gauss200.jdbc.Driver。
<table1>; run clean on <database name>. <table1>; run archivelog on <database name>.<table1>; run compaction on <database name>.
在命令行窗口输入以下命令创建数据库“testdwsdb”。 CREATE DATABASE testdwsdb; 执行以下命令,退出gaussdb数据库,连接新创建的数据库“testdwsdb”。