检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
作业所属用户标识。 “show_detail”为“true”时独有。 project_id 否 String 作业所属项目标识。 “show_detail”为“true”时独有。 sql_body 否 String Stream SQL语句。 “”“show_detail”为“false”时独有。
CONNECTION_NAME, CONSTRAINT, CONSTRAINTS, CONSTRAINT_CATALOG, CONSTRAINT_NAME, CONSTRAINT_SCHEMA, CONSTRUCTOR, CONTAINS, CONTINUE, CONVERT, CORR
修改组或资源包拥有者(废弃) 功能介绍 该API用于修改程序包的owner。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: PUT /v2.0/{project_id}/resources/owner 参数说明 表1 URI参数
修改DLI程序包所有者 DLI提供了修改程序包组或程序包的所有者的功能。 登录DLI管理控制台,选择“数据管理 > 程序包管理”。 在“程序包管理”页面,单击程序包“操作 ”列中的“更多 > 修改所有者”。 如果该程序包进行过分组设置,选择“组”或者“程序包”进行修改。 图1 修改程序包所有者
import org.apache.spark.sql.SparkSession object TestMongoSql { def main(args: Array[String]): Unit = { val sparkSession = SparkSession.builder()
关联队列,使用的是密码形式的跨源认证,报DLI.0999: PSQLException: The connection attempt failed。 原因分析 出现该问题可能原因如下: 安全组配置不正确 子网配置不正确 处理步骤 检查客户安全组是否放通,安全组放通规则如下所示。
查看计划 功能描述 执行该语句将返回该SQL语句的逻辑计划与物理执行计划。 语法格式 1 EXPLAIN [EXTENDED | CODEGEN] statement; 关键字 EXTENDED:指定该关键字后,会同时输出逻辑计划与物理执行计划。 CODEGEN:指定该关键字后
入门实践 我们整理了从队列网络连通、不同类型的作业分析、数据迁移场景的常用开发指南和最佳实践内容,帮助您更好的使用DLI进行大数据分析和处理。 表1 DLI常用开发指南与最佳实践 场景 操作指导 描述 Spark SQL作业开发 使用Spark SQL作业分析OBS数据 介绍使用Spark
String 用户名,当“show_detail”为“false”时独有。 duration 否 Long 作业运行时长。 单位ms,“show_detail”为“false”时独有。 root_id 否 Long 父作业ID。“show_detail”为“false”时独有。 graph_editor_enabled
instant => '[instant]'); 查看某个表生效的某个instant信息: call show_active_instant_detail(table => '[table_name]', instant => '[instant]'); 查看某个表已被归档的instant
db1的CREATE_TABLE权限 - CREATE VIEW v1 database.db1的CREATE_VIEW权限 - EXPLAIN query database.db1的EXPLAIN权限 query需要其相应的权限。 Table SHOW CREATE TABLE tb1 database.db1
column_constraint: : NOT NULL [[ENABLE|DISABLE] [VALIDATE|NOVALIDATE] [RELY|NORELY]] table_constraint: : [CONSTRAINT constraint_name] PRIMARY
23 24 25 26 public class Test_Redis_DaraFrame { public static void main(String[] args) { //create a SparkSession session SparkConf
表中只有一个列族detail,创建语句如下: create 'area_info', {NAME => 'detail'} 在HBase shell中执行下述语句,插入相应的维表数据: put 'area_info', '330106', 'detail:area_province_name'
API概览 本章节介绍了目前DLI所提供的API列表。 表1 DLI API列表 类型 说明 权限相关API 包括队列赋权、查看队列的使用者、数据赋权、查看数据库的使用者、查看表的使用者、查看表的用户权限和查看赋权对象使用者权限信息。 全局变量相关API 包括创建全局变量、删除全
"origin_cu" : 16, "record_time" : 1650784624000, "status" : "fail", "fail_reason" : "Internal error, please contact technical support."
create_time 否 Long 创建连接的时间。为UTC的时间戳。 available_queue_info 否 Array of Objects 各个队列创建跨源连接的信息,详细信息请参考表3。 表3 available_queue_info参数说明 参数名称 是否必选 参数类型
forEachRemaining(credentialProviders::add); if (credentialProviders.size() != 1) { throw new RuntimeException("Failed to obtain
get(“filename”)的方式获取。 SparkFiles.get()方法需要spark初始化以后才能调用。 图1 添加其他依赖文件 代码段如下所示 package main.java import org.apache.spark.SparkFiles import org.apache.spark.sql
String 队列的镜像类型。支持以下两种类型: basic:基础型 ai:AI增强型(仅SQL的x86_64专属队列支持选择) 默认值为“basic”。 说明: AI增强型即队列加载了AI镜像,该镜像在基础镜像的基础上集成了AI相关的算法包。 resource_type 否 String