检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图1 检查读取的数据量 确认客户验证数据量的方式是否正确。客户验证的方式如下: 通过OBS下载数据文件。 通过文本编辑器打开数据文件,发现数据量缺失。 根据该验证方式,初步定位是因为文件数据量较大,文本编辑器无法全部读取。
Java SDK环境配置 Java开发环境配置 SDK的获取与安装 初始化DLI客户端 父主题: Java SDK
表1 权限矩阵 分类 SQL语句 权限 说明 Database DROP DATABASE db1 database.db1的DROP_DATABASE权限 - CREATE TABLE tb1(...) database.db1的CREATE_TABLE权限 - CREATE VIEW
Flink Jar 包冲突,导致作业提交失败 Flink Jar作业访问DWS启动异常,提示客户端连接数太多错误 Flink Jar作业运行报错,报错信息为Authentication failed Flink Jar作业设置backend为OBS,报错不支持OBS文件系统 Hadoop
DBeaver客户端安装包: DBeaver官网提供了针对不同操作系统的客户端安装包,单击下载DBeaver访问DBeaver官网下载系统对应的DBeaver客户端安装包并完成安装 。推荐使用24.0.3版本的DBeaver。
图1 按需计费DLI资源生命周期 华为云根据客户等级定义了不同客户的宽限期和保留期时长。 处理欠费 欠费后需要及时充值,详细操作请参见账户充值。 若DLI的队列、弹性资源池等资源不再使用,您可以将他们删除,以免继续扣费。
华为云根据客户等级定义了不同客户的宽限期和保留期时长。 在DLI资源到期前均可开通自动续费,到期前7日凌晨3:00首次尝试自动续费,如果扣款失败,每天凌晨3:00尝试一次,直至DLI资源到期或者续费成功。到期前7日自动续费扣款是系统默认配置,您也可以根据需要修改此扣款日。
MRS服务Spark组件的是建立在客户的购买MRS服务所分配的虚机上,用户可以根据实际需求调整及优化Spark服务,支持各种接口调用。 MRS的这种模式提供了更高的自由度和定制性,适合有大数据处理经验的用户使用。 具体请参考《MapReduce服务开发指南》。
`obs://bucket_name0/db0/delta_table0` where column1 = 'value1'; 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题: Delta DML语法说明
`obs://bucket0/db0/delta_table1` set price = price *2, name = 'a2' where part0='xx' and id = 2; 系统响应 可在driver日志和客户端中查看命令运行成功或失败。
跨源分析 支持多种数据格式,云上多种数据源、ECS自建数据库以及线下数据库,数据无需搬迁,即可实现对云上多个数据源进行分析,构建企业的统一视图,帮助企业快速完成业务创新和数据价值探索。
delta_table0 where dt >= '2020-01-01'; OPTIMIZE delta_table0 WHERE dt >= current_timestamp() - INTERVAL 1 day ZORDER BY (price); 系统响应 可在driver日志和客户端中查看命令运行成功或失败
【SPARK-27812】:K8S客户端版本提升到4.6.1。 DLI从Spark 3.x版本开始不支持内置地理空间查询函数。 父主题: 版本支持公告
图2 MRS Manager上创建Hive用户 参考安装MRS客户端下载并安装Hive客户端。例如,当前Hive客户端安装在MRS主机节点的“/opt/hiveclient”目录上。 以root用户进入客户端安装目录下。
`obs://bucket_name/db0/delta_table0` VERSION AS OF 2; 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题: Delta DML语法说明
参考《使用HBase客户端》使用1中创建的用户认证登录。“人机”用户第一次登录时需修改密码。 登录Manager界面,选择“系统 > 权限 > 用户”,选择新建用户,选择“更多 > 下载认证凭据”,保存后解压得到用户的keytab文件与krb5.conf文件。
true spark.network.sasl.serverAlwaysEncrypt 该参数用于配置服务器端是否使用加密来与客户端通信。当设置为true时,服务器将要求所有客户端使用加密连接,这可以提高通信的安全性。
参考安装MRS客户端下载并安装Kafka客户端。例如,当前Kafka客户端安装在MRS主机节点的“/opt/kafkaclient”目录上。 以root用户进入客户端安装目录下。 例如:cd /opt/kafkaclient 执行以下命令配置环境变量。
管理控制台 DLI作业开发流程 SQL作业编辑器 作业管理 数据管理 作业模板 跨源连接 常用语法 Spark SQL语法参考 Flink OpenSource SQL语法参考 运维与监控 查看审计日志 查看监控指标 06 开发 您可以使用客户端或第三方BI工具对接DLI,以及通过
华为云根据客户等级定义了不同客户的宽限期和保留期时长。 关于充值的详细操作请参见账户充值。 按需计费模式和套餐包组合使用 DLI支持套餐包和按需计费模式结合使用。 购买了扫描数据量套餐包,按需使用过程中优先抵扣扫描数据量套餐包的规格额度,超过扫描数据量套餐包额度的按照按需计费。