检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
]target_table SHALLOW CLONE [source_db.]source_table|DELTA.`obs://bucket_name/tbl_path` location 'obs://bucket_name/tbl_path' 参数描述 表1 SHALLOW CLONE参数描述
SDK让您无需关心请求细节即可快速使用数据湖探索服务。本节操作介绍如何在Python环境获取并使用SDK。 使用须知 要使用DLI Python SDK访问指定服务的 API ,您需要确认已在DLI管理控制台开通当前服务并完成服务授权。 Python版本建议使用2.7.10和3.4.0以上版本,需要配置Visual
while (true) { SparkJobStatus jobStatus = job.getStatus(); if (SparkJobStatus.SUCCESS.equals(jobStatus)) { System
DLI创建跨源连接,绑定队列一直在创建中怎么办? 新建跨源连接,显示已激活,但使用时提示communication link failure错误怎么办? 跨源访问MRS HBase,连接超时,日志未打印错误怎么办? DLI跨源连接报错找不到子网怎么办? 跨源RDS表,执行insert overwrite提示Incorrect
或处理时间(流处理)上。 HOP(time_attr, interval, interval) 定义一个跳跃的时间窗口(在 Table API 中称为滑动窗口)。 滑动窗口有一个固定的持续时间( 第二个 interval 参数 )以及一个滑动的间隔(第一个 interval 参数
单击“用户组”,输入查询到的用户组查询,单击用户组名称,在“授权记录”中查看当前用户的权限。 确认当前用户所属用户组下的权限是否包含OBS写入的权限,比如“OBS OperateAccess”。如果没有OBS写入权限,则给对应的用户组进行授权。 授权完成后,等待5到10分钟等待权限生效。再次运行失败的Flink
schema) // 步骤3:配置写入的表名和OBS路径 val databaseName = "default" val tableName = "hudi_table" val basePath = "obs://bucket/path/hudi_table"
x版本时,或切换使用HetuEngine后,如果已经赋予IAM用户的建表权限,但是在创建表时候仍然提示权限不足。 根因分析 DLI队列的引擎版本不同,校验的权限范围不同: HetuEngine不支持通过IAM用户授权,需使用DLI资源授权。 解决方案 请参考《数据湖探索用户指南》中的数据库权限管理章节授予用户创建表的权限。
15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险,建议使用DEW管理凭证。配置文件或者环境变量中密文存放,使用时解密,确保安全。Flink Opensource SQL使用DEW管理访问凭据 语法格式
ys) 如果运算的数学结果无法通过结果数据类型的精度和范围精确地表示,则发生异常情况:Value is out of range。 当对具有不同范围和精度的decimal类型进行运算时,值首先被强制转换为公共超类型。对于接近于最大可表示精度 (38) 的类型,当一个操作数不符合公共
BY子句之前运行。调用窗口函数需要使用OVER子句来指定窗口的特殊语法。窗口具有三个组成部分: 分区规范,它将输入行分为不同的分区。这类似于GROUP BY子句如何将行分为聚合函数的不同组。 排序规范,它确定窗口函数将处理输入行的顺序。 窗口框架,指定给定行该功能要处理的行的滑动窗口。如果未指定帧,则默认为“RANGE
(key1=val1, key2=val2, ...) 语法说明 IF NOT EXISTS 如果数据库已经存在,则不会进行任何操作。 WITH OPTIONS 数据库属性一般用于存储关于这个数据库额外的信息。 表达式 key1=val1中的键和值都是字符串文本常量。 父主题: DDL语法定义
语法分类 操作链接 数据库相关语法 创建数据库 删除数据库 查看指定数据库 查看所有数据库 创建OBS表相关语法 使用DataSource语法创建OBS表 使用Hive语法创建OBS表 创建DLI表相关语法 使用DataSource语法创建DLI表 使用Hive语法创建DLI表 删除表相关语法
RuntimeException: java.lang.ClassNotFoundException: Class org.apache.hadoop.fs.obs.metrics.OBSAMetricsProvider not found at org.apache.hadoop.conf.Configuration
BI连接DLI的操作步骤。 配置PowerBI通过Kyuubi连接DLI进行数据查询和分析 介绍PowerBI基于Kyuubi连接DLI,以访问和分析DLI中的数据的操作步骤。 配置Fine BI通过Kyuubi连接DLI进行数据查询和分析 介绍Fine BI基于Kyuubi连接DLI的操作步骤。
sinkA和print_sinkB。然后使用EXECUTE STATEMENT执行两个INSERT INTO语句,分将转换后的数据写入两个不同的sink。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21
划线开头。 输入长度不能超过128个字符。 用户名称 访问数据源的用户名。 用户密码 访问数据源的密码。 图1 创建认证信息-Password 访问数据源。 跨源认证创建成功后,在创建访问数据源时只需关联跨源认证即可安全访问数据源。 建表时关联跨源认证的字段请参考表3。 表3 建
计费样例 计费场景 某公司用户A申请了256CUs的弹性资源池,并将1TB数据存放在DLI表中。该公司想要了解采用哪种计费模式才是性价比最优的方式。 数据湖探索服务目前支持三种作业:SQL作业,Flink作业和Spark作业。SQL作业的计费包括存储计费和计算计费,Flink作业和Spark作业的计费只有计算计费。
参考操作步骤说明,编写UDF函数代码。 2 编写UDF函数代码 3 调试,编译代码并导出Jar包 4 上传Jar包到OBS OBS控制台 将生成的UDF函数Jar包文件上传到OBS目录下。 5 创建DLI的UDF函数 DLI控制台 在DLI控制台的SQL作业管理界面创建使用的UDF函数。
成。 table_name Database中的表名,由字母、数字和下划线(_)组成。 bucket_name obs桶名称。 tbl_path Delta表在obs桶中的存储位置。 constraint_name 约束名称。 boolExpression 约束条件表达式。 所需权限