-
Spark Jar 使用DEW获取访问凭证读写OBS - 数据湖探索 DLI
操作场景 DLI将Spark Jar作业并的输出数据写入到OBS时,需要配置AKSK访问OBS,为了确保AKSK数据安全,您可以用过数据加密服务(Data Encryption Workshop,DEW)、云凭据管理服务(Cloud Secret Management Servi
-
java样例代码 - 数据湖探索 DLI
apache.spark.sql.*; import org.apache.spark.sql.types.DataTypes; import org.apache.spark.sql.types.StructField; import org.apache.spark.sql.types.StructType;
-
使用Spark作业跨源访问数据源 - 数据湖探索 DLI
使用Spark作业跨源访问数据源 概述 对接CSS 对接DWS 对接HBase 对接OpenTSDB 对接RDS 对接Redis 对接Mongo 父主题: Spark Jar作业开发指南
-
更新跨源认证(废弃) - 数据湖探索 DLI
请求执行是否成功。“true”表示请求执行成功。 message String 无 请求示例 更新跨源认证的名称为rds3。 { "auth_info_name": "rds3" } 响应示例 { "is_success": true, "message": "Update
-
跨源分析问题 - 数据湖探索 DLI
跨源分析问题 如何实现跨数据源查询 如何实现跨区域访问数据 创建DLI关联RDS表时,如果RDS表有自增主键或者其他自动填充的字段时,在DLI中插入数据时,对应字段如何填写? 父主题: 跨源连接相关问题
-
数据迁移 - 数据湖探索 DLI
数据迁移 数据迁移概览 迁移Hive数据至DLI 迁移Kafka数据至DLI 迁移Elasticsearch数据至DLI 迁移RDS数据至DLI 迁移DWS数据至DLI
-
Flink Jar作业开发基础样例 - 数据湖探索 DLI
为Jar包,上传到已经创建的OBS桶中。并在DLI“数据管理”>“程序包管理”页面创建程序包,具体请参考创建程序包。 DLI不支持下载功能,如果需要更新已上传的数据文件,可以将本地文件更新后重新上传。 由于DLI服务端已经内置了Flink的依赖包,并且基于开源社区版本做了安全加固。
-
配额相关问题 - 数据湖探索 DLI
配额相关问题 什么是用户配额? 怎样查看我的配额 如何申请扩大配额 Failed to create the database. {"error_code":"DLI.1028";"error_msg":"Already reached the maximum quota of databases:XXX"
-
创建经典型跨源连接 - 数据湖探索 DLI
空格和_ . : =+-@ ,但首尾不能含有空格。 表4 各服务URL获取方式 服务名称 URL获取方式 Cloud Table HBase OpenTSDB DWS RDS CSS MRS 响应消息 表5 响应参数 参数名称 是否必选 参数类型 说明 is_success 否 Boolean
-
pyspark样例代码 - 数据湖探索 DLI
情讲解可参考表1。 通过SQL API访问 插入数据 sparkSession.sql("insert into opentsdb_test values('aaa', 'abc', '2021-06-30 18:00:00', 30.0)") 查询数据 result = sparkSession
-
pyspark样例代码 - 数据湖探索 DLI
stripMargin) 插入数据 1 sparkSession.sql("INSERT INTO TABLE person VALUES ('John', 30),('Peter', 45)".stripMargin) 查询数据 1 sparkSession.sql("SELECT *
-
Spark 3.3.1版本说明 - 数据湖探索 DLI
Spark查询语句性能提升。 元数据访问性能提升 提升Spark在处理大数据时的元数据访问性能,提高数据处理流程效率。 提升OBS committer小文件写性能 提升对象存储服务(OBS)在处理小文件写入时的性能,提高数据传输效率。 动态Executor shuffle数据优化 提升资源扩缩
-
修订记录 - 数据湖探索 DLI
使用Spark作业访问DLI元数据,补充说明不同Spark版本访问元数据的示例代码。 2024-05-17 修改: 修改使用Flink Jar写入数据到OBS开发指南示例。 2024-04-07 新增: 使用Spark Jar作业读取和查询OBS数据,修改“上传Jar包到OBS和DLI下”的操作步骤。
-
Flink模板管理 - 数据湖探索 DLI
新增:将修改另存为新的模板。 SQL语句编辑区域 输入详细的SQL语句,实现业务逻辑功能。SQL语句的编写请参考《数据湖探索SQL语法参考》。 保存 保存修改。 创建作业 使用当前模板创建作业。 格式化 对SQL语句进行格式化,将SQL语句格式化后,需要重新编辑SQL语句。 主题设置 更改
-
错误码 - 数据湖探索 DLI
400 DLI.0003 SQL权限校验未通过。 400 DLI.0004 SQL语法解析错误。 400 DLI.0005 SQL语义解析错误。 400 DLI.0006 对象已存在错误。 400 DLI.0007 不支持该操作。 400 DLI.0008 元数据错误。 400 DLI
-
Flink作业管理 - 数据湖探索 DLI
Flink作业管理 Flink作业管理概述 Flink作业权限管理 准备Flink作业数据 (推荐)创建Flink OpenSource SQL作业 创建Flink SQL作业 创建Flink Jar作业 操作Flink作业 Flink作业详情 标签管理 开启Flink作业动态扩缩容
-
Spark 2.4.5版本说明 - 数据湖探索 DLI
说明 支持配置小文件合并 使用SQL过程中,生成的小文件过多时,会导致作业执行时间过长,且查询对应表时耗时增大,建议对小文件进行合并。 参考如何合并小文件完成合并小文件。 支持修改非分区表或分区表的列注释 修改非分区表或分区表的列注释。 支持统计SQL作业的CPU消耗 支持在控制台查看“CPU累计使用量”。
-
历史API - 数据湖探索 DLI
Spark批处理相关API(废弃) SQL作业相关API(废弃) 资源相关API(废弃) 权限相关API(废弃) 队列相关API(废弃) 跨源认证相关API(废弃) 增强型跨源连接相关API(废弃) 模板相关API(废弃) 表相关API(废弃) SQL作业相关API(废弃) 上传数据相关API(废弃)
-
Flink作业管理概述 - 数据湖探索 DLI
在Flink作业管理页面可提交Flink作业。目前有以下作业类型: Flink OpenSource SQL作业:兼容社区Flink 1.10版本SQL语法,仅支持运行在CCE类型队列上。 Flink SQL作业:使用SQL语句定义作业,可以提交到通用队列上。 Flink Jar作业:基于Flink A
-
如何在一个Flink作业中将数据写入到不同的Elasticsearch集群中? - 数据湖探索 DLI
如何在一个Flink作业中将数据写入到不同的Elasticsearch集群中? 在对应的Flink作业中添加如下SQL语句。 create source stream ssource(xx); create sink stream es1(xx) with (xx); create