检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何查看DLI Spark作业的实际资源使用情况 查看Spark作业原始资源配置 登录DLI 控制台,单击左侧“作业管理”>“Spark作业”,在作业列表中找到需要查看的Spark作业,单击“作业ID”前的,即可查看对应Spark作业的原始资源配置参数。 在创建Spark作业时,
获取MRS集群全部节点的ip和域名映射,在DLI跨源连接修改主机信息中配置host映射。 如何添加IP域名映射,请参见《数据湖探索用户指南》中“修改主机信息”章节。 Kafka服务端的端口如果监听在hostname上,则需要将Kafka Broker节点的hostname和IP的对应关系添加到DLI队列中。Kafka
端口:允许远端地址访问指定端口,取值范围为:1~65535。 本例中选择TCP协议,端口值不填或者填写为步骤1:获取外部数据源的内网IP、端口和安全组获取的数据源的端口。 类型 IP地址类型。 IPv4 源地址 源地址用于放通来自IP地址或另一安全组内的实例的访问。 本例填写步
OpenTSDB是基于HBase分布式的 ,可伸缩的时间序列数据库。OpenTSDB的设计目标是用来采集大规模集群中的监控类信息,并可实现数据的秒级查询,解决海量监控类数据在普通数据库中查询存储的局限性,可用于系统监控和测量、物联网数据、金融数据和科学实验结果数据的收集监控。 DLI可以通过
Manager上,选择“集群 > 待操作的集群名称 > 服务 > ZooKeeper > 实例”,获取ZooKeeper角色实例的IP地址,为后续步骤做准备。 在MRS Manager上,选择“集群 > 待操作的集群名称 > 服务 > kafka > 实例”,获取kafka角色实例的IP地址,为后续步骤做准备。
桶名/包名。 modules Array of Strings 依赖的系统资源模块名,具体模块名可通过查询组内资源包(废弃)接口查看。 DLI系统提供了用于执行跨源作业的依赖模块,各个不同的服务对应的模块列表如下: CloudTable/MRS HBase: sys.datasource
写作说明 本文介绍了DLI服务提供的V3版本的SDK,列举了最新版本SDK的获取地址。 SDK列表 表1提供了DLI云服务支持的SDK列表,您可以在GitHub仓库查看SDK更新历史、获取安装包以及查看指导文档。 表1 SDK列表 编程语言 Github地址 参考文档 视频指导 Java
在地区和终端节点获取DLI对应区域的域名。 如果不配置,程序根据region参数来确定域名。 obsEndPoint 是 obs.cn-north-1.myhuaweicloud.com OBS服务的域名。 在地区和终端节点获取OBS对应区域的域名。 bucketName 是 - OBS上的桶名称。该桶
url RDS的连接地址,需要先创建跨源连接,管理控制台操作请参考《数据湖探索用户指南》。 创建经典型跨源连接后,使用经典型跨源连接中返回的连接地址。 创建增强型跨源连接后,使用RDS提供的"内网域名"或者内网地址和数据库端口访问,MySQL格式为"协议头://内网IP:内网端口"
安全CSS集群的证书,生成的keystore文件在OBS上的地址。 es.net.ssl.keystore.pass 安全CSS集群的证书,生成的keystore文件时的密码。 es.net.ssl.truststore.location 安全CSS集群的证书,生成的truststore文件在OBS上的地址。
为什么已有View视图的select权限,但是查询不了View? 问题描述 用户A创建了表Table1。 用户B基于Table1创建了视图View1。 赋予用户C Table1的查询表权限后,用户C查询View失败。 根因分析 用户C查询View失败的原因是由于用户B不具备Table1的查询表权限。
实际CUs:弹性资源池当前分配的可用CUs。 已使用CUs:当前弹性资源池已经被分配使用的CUs 待提交作业所需的CUs需小于等于弹性资源池的剩余可用CUs,才可以确保作业任务的正常执行。 作业资源的占用情况请参考怎样查看作业所需的资源CUs数?。 怎样查看作业所需的资源CUs数? SQL作业:
查询作业结果-方式一(废弃) 功能介绍 该API用于在执行SQL查询语句的作业完成后,查看该作业执行的结果。目前仅支持查看“QUERY”类型作业的执行结果。 当前接口已废弃,不推荐使用。 该API只能查看前1000条的结果记录,若要查看全部的结果记录,需要先导出查询结果再进行查看,详细请参见导出查询结果。
如果在建表时没有指定schema信息,则查询出来的结果将会包含"_id"字段用于存放doc中的"_id"。 示例 查询表test_oracle中的数据。 1 SELECT * FROM test_oracle limit 100; 父主题: 跨源连接Oracle表
Insert作业执行过程中扫描到的错误记录数。 input_size Long 作业执行过程中扫描文件的大小,单位字节。 result_count Integer 当前作业返回的结果总条数或insert作业插入的总条数。 database_name String 记录其操作的表所在的数据库名称。类
Import类型的作业,记录其导入的数据是否包括列名。 detail 是 String SQL查询的相关列信息的Json字符串。 statement 是 String 作业执行的SQL语句。 message 否 String 系统提示信息。 end_time 否 Long 作业结束的时间。是单位为“毫秒”的时间戳。
entrypoint 否 String 用户已上传到DLI资源管理系统的程序包名,用户自定义作业主类所在的jar包。 dependency_jars 否 Array of Strings 用户已上传到DLI资源管理系统的程序包名,用户自定义作业的其他依赖包。 dependency_files 否 Array
查询DWS表 SELECT命令用于查询DWS表中的数据。 语法格式 1 SELECT * FROM table_name LIMIT number; 关键字 LIMIT:对查询结果进行限制,number参数仅支持INT类型。 注意事项 所查询的表必须是已经存在的表,否则会出错。
查询HBase表 SELECT命令用于查询hbase表中的数据。 语法格式 1 SELECT * FROM table_name LIMIT number; 关键字 LIMIT:对查询结果进行限制,number参数仅支持INT类型。 注意事项 所查询的表必须是已经存在的表,否则会出错。
查询RDS表 SELECT命令用于查询RDS表中的数据。 语法格式 1 SELECT * FROM table_name LIMIT number; 关键字 LIMIT:对查询结果进行限制,number参数仅支持INT类型。 注意事项 所查询的表必须是已经存在的表,否则会出错。