检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
queueActions 提交作业(SQL) queue submitJob 取消作业(SQL) jobs cancelJob 授权obs桶给DLI服务 obs authorizeObsBucketsForStream 检查SQL语法 jobs checkSQL 删除作业 jobs deleteStreamJob
message 否 String 系统提示信息,执行成功时,信息可能为空。 请求示例 关联队列lhm_sql到该弹性资源池。 { "queue_name" : "lhm_sql" } 响应示例 { "is_success" : true, "message" : "" }
org.apache.spark.sql.Dataset; import org.apache.spark.sql.Row; import org.apache.spark.sql.SaveMode; import org.apache.spark.sql.SparkSession;
print_function from pyspark.sql.types import StructType, StructField, StringType, LongType, DoubleType from pyspark.sql import SparkSession 创建会话
理多种大数据服务,极大降低用户使用大数据的门槛,帮助用户快速构建大数据处理中心。 通过数据治理中心的DLI SQL节点传递SQL语句到DLI中执行,请参考《DLI SQL》。 通过数据治理中心的DLI Flink Job节点执行一个预先定义的DLI作业,请参考《DLI Flink
import print_function from pyspark.sql.types import StructType, StructField, IntegerType, StringType from pyspark.sql import SparkSession 创建session
“更多 > 修改数据库”。 在弹出的对话框中,输入新的所有者用户名(已存在的用户名),单击“确定”。 在“SQL编辑器”页面修改数据库所有者。 在管理控制台左侧,单击“SQL编辑器”。 在左侧导航栏单击选择“数据库”页签,鼠标左键单击对应数据库右侧的,在列表菜单中选择“修改数据库”。
码的,而通常使用的utf-8编码在mysql数据库中默认是按照三个字节一个单位进行编码的,这个原因导致将数据存入mysql数据库时出现错误。 出现该问题可能原因如下: 数据库编码问题。 处理步骤 修改字符集为utf8mb4。 执行如下SQL更改数据库字符集。 ALTER DATABASE
<artifactId>spark-sql_2.11</artifactId> <version>2.3.2</version> </dependency> import相关依赖包 1 import org.apache.spark.sql.SparkSession;
说明 queue_type 否 String 队列的类型,有如下三种类型: sql:查询SQL队列类型的队列。 general:查询通用队列类型的队列。 all:查询所有类型的队列。 如果不指定,默认为sql。 with-priv 否 Boolean 是否返回权限信息。 with-charge-info
0001 参数校验错误。 400 DLI.0002 对象不存在。 400 DLI.0003 SQL权限校验未通过。 400 DLI.0004 SQL语法解析错误。 400 DLI.0005 SQL语义解析错误。 400 DLI.0006 对象已存在错误。 400 DLI.0007 不支持该操作。
时扩缩容计划、修改队列定时扩缩容计划。 SQL作业相关API 包括导入数据、导出数据、提交SQL作业、取消作业、查询所有作业、预览作业结果、查询作业状态、查询作业详细信息、检查SQL语法和导出查询结果。 SQL模板相关API 包括保存SQL模板、创建作业模板等模板相关API。 Flink作业相关API
Spark作业的实际资源使用情况 将Spark作业结果存储在MySQL数据库中,缺少pymysql模块,如何使用python脚本访问MySQL数据库? 如何在DLI中运行复杂PySpark程序? 如何通过JDBC设置spark.sql.shuffle.partitions参数提高并行度 Spark
“大数据”分类中的“数据湖探索 DLI”。 创建demo数据库,在DLI控制台总览页面,选择“作业管理 > SQL作业”,单击“创建作业”,进入SQL作业编辑器。 在SQL作业编辑器左侧,选择“数据库”页签,单击创建demo数据库,请参见图1。 图1 创建数据库 “default
Flink作业相关API 新建SQL作业 更新SQL作业 新建Flink Jar作业 更新Flink Jar作业 批量运行作业 查询作业列表 查询作业详情 查询作业执行计划 批量停止作业 删除作业 批量删除作业 导出Flink作业 导入Flink作业 生成Flink SQL作业的静态流图
queue_type 否 String 队列的类型,。有如下类型: sql:SQL队列类型,用于运行SQL作业。 general:通用队列类型,用于运行Flink、Spark Jar作业。 说明: 如果不指定类型,则默认为“sql”。 description 否 String 队列的描述信息。
import print_function from pyspark.sql.types import StructType, StructField, IntegerType, StringType from pyspark.sql import SparkSession 创建session
DLI API类 如何获取AK/SK? 如何获取项目ID? 提交SQL作业时,返回“unsupported media Type”信息 创建SQL作业的API执行超过时间限制,运行超时报错 API接口返回的中文字符为乱码,如何解决?
</dependency> 通过SQL API访问 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 import org.apache.spark.sql.{SparkSession}; object Test_Redis_SQL { def
format,timestampformat参数。 table_comment 否 String 表的注释。 create_table_sql 否 String 该表的建表语句。 表3 columns参数 参数名称 是否必选 参数类型 说明 column_name 是 String