-
OBS表如何映射为DLI的分区表? - 数据湖探索 DLI
OBS表如何映射为DLI的分区表? 该示例将car_info数据,以day字段为分区字段,parquet为编码格式(目前仅支持parquet格式),转储数据到OBS。更多内容请参考《数据湖探索Flink SQL语法参考》。 1 2 3 4 5 6 7 8 9 10
-
如何通过JDBC设置spark.sql.shuffle.partitions参数提高并行度 - 数据湖探索 DLI
如何通过JDBC设置spark.sql.shuffle.partitions参数提高并行度 操作场景 Spark作业在执行shuffle类语句,包括group by、join等场景时,常常会出现数据倾斜的问题,导致作业任务执行缓慢。 该问题可以通过设置spark.sql.shuffle
-
OBS输入流 - 数据湖探索 DLI
OBS输入流 功能描述 创建source流从对象存储服务(OBS)获取数据。DLI从OBS上读取用户存储的数据,作为作业的输入数据。适用于大数据分析、原生云应用程序数据、静态网站托管、备份/活跃归档、深度/冷归档等场景。 对象存储服务(Object Storage Service,简
-
OBS输入流 - 数据湖探索 DLI
OBS输入流 功能描述 创建source流从对象存储服务(OBS)获取数据。DLI从OBS上读取用户存储的数据,作为作业的输入数据。适用于大数据分析、原生云应用程序数据、静态网站托管、备份/活跃归档、深度/冷归档等场景。 对象存储服务(Object Storage Service,简
-
SQL作业如何指定表的部分字段进行表数据的插入 - 数据湖探索 DLI
SQL作业如何指定表的部分字段进行表数据的插入 当前DLI不支持指定部分列字段进行表数据插入,执行插入操作需要所有表字段数据一起插入。 父主题: 作业开发
-
购买了64CU的队列资源,运行Spark作业时如何分配? - 数据湖探索 DLI
购买了64CU的队列资源,运行Spark作业时如何分配? 在DLI中,64CU=64core256G。 在对应的Spark作业中,如果Driver占用了4core16G,那么Executor能占用的就是60core 240G。 父主题: 运维指导
-
DLI上已经创建好的表如何修改表字段名称? - 数据湖探索 DLI
DLI上已经创建好的表如何修改表字段名称? 当前DLI上已经创建好的表不支持修改表字段名称,即不支持修改表的列名。 可以通过重新创建表,定义新的表字段名称,再把旧表数据迁移到新表进行解决。 父主题: 作业管理
-
Flink SQL中的temp流中数据是否需要定期清理,如何清理? - 数据湖探索 DLI
Flink SQL中的temp流中数据是否需要定期清理,如何清理? Flink SQL中的temp流类似于子查询,只是逻辑意义上的流,用于简化SQL逻辑,不会产生数据存储,因而不存在清理问题。 父主题: Flink SQL作业相关问题
-
如何将老版本的Spark队列切换成通用型队列 - 数据湖探索 DLI
如何将老版本的Spark队列切换成通用型队列 当前DLI服务包括“SQL队列”和“通用队列”两种队列类型。 其中,“SQL队列”用于运行SQL作业,“通用队列”兼容老版本的Spark队列,用于运行Spark作业和Flink作业。 通过以下步骤,可以将老版本的“Spark队列”转换为新的“通用队列”。
-
使用Spark SQL作业分析OBS数据 - 数据湖探索 DLI
按照以下文件内容创建“test.csv”文件,并将“test.csv”文件上传到OBS桶“dli-test-021”的根目录下。 Jordon,88,23 Kim,87,25 Henry,76,26 登录DLI管理控制台,选择“SQL编辑器”,在SQL编辑器中“执行引擎”选择“spark”,“队列”选择已创
-
新建SQL作业 - 数据湖探索 DLI
当“log_enabled” 为“true”时,该参数是用户授权保存作业日志的OBS桶名。 log_enabled 否 Boolean 是否开启作业的日志上传到用户的OBS功能。默认为“false”。 smn_topic 否 String 当作业异常时,向该SMN主题推送告警信息。 restart_when_exception
-
在Spark SQL作业中使用UDTF - 数据湖探索 DLI
识别和管理程序包。 单击“确定”,完成创建程序包。 图11 创建程序包 创建DLI的UDTF函数。 登录DLI管理控制台,单击“SQL编辑器”,执行引擎选择“spark”,选择已创建的SQL队列和数据库。 图12 选择队列和数据库 在SQL编辑区域输入实际上传Jar包的路径创建UDTF函数,单击“执行”提交创建。
-
如何在一个Flink作业中将数据写入到不同的Elasticsearch集群中? - 数据湖探索 DLI
如何在一个Flink作业中将数据写入到不同的Elasticsearch集群中? 在对应的Flink作业中添加如下SQL语句。 create source stream ssource(xx); create sink stream es1(xx) with (xx); create
-
Flink SQL作业的消费能力如何,即一天可以处理多大的数据量? - 数据湖探索 DLI
Flink SQL作业的消费能力如何,即一天可以处理多大的数据量? Flink SQL作业的消费能力与源端的数据发送、队列大小、作业参数配置均有关系,每秒10M峰值。 父主题: Flink SQL作业相关问题
-
如何将一个区域中的DLI表数据同步到另一个区域中? - 数据湖探索 DLI
如何将一个区域中的DLI表数据同步到另一个区域中? 可以使用OBS跨区域复制功能实现,步骤如下: 将区域一中的DLI表数据导出到自定义的OBS桶中。 具体请参考《数据湖探索用户指南》。 通过OBS跨区域复制功能将数据复制至区域二的OBS桶中。 具体请参考跨区域复制。 根据需要导入或使用对应的数据。
-
Flink SQL作业相关问题 - 数据湖探索 DLI
Flink SQL作业相关问题 Flink SQL作业的消费能力如何,即一天可以处理多大的数据量? Flink SQL中的temp流中数据是否需要定期清理,如何清理? 创建Flink SQL作业时选择OBS桶,提示未授权 Flink SQL作业将OBS表映射为DLI的分区表 Flink
-
创建Redis表 - 数据湖探索 DLI
请务必确保您的账户下已在分布式缓存服务(DCS)里创建了Redis类型的缓存实例。 如何创建Redis类型的缓存实例请参考《分布式缓存服务用户指南》。 该场景作业需要运行在DLI的独享队列上,因此要与DCS实例建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接
-
更新SQL作业 - 数据湖探索 DLI
当“log_enabled” 为“true”时,该参数是用户授权保存作业日志的OBS桶名称。 log_enabled 否 Boolean 是否开启作业的日志上传到用户的OBS功能。默认为“false”。 smn_topic 否 String 当作业异常时,向该SMN主题推送告警信息。 restart_when_exception
-
Failed to create the database. {"error - 数据湖探索 DLI
databases:XXX". 提示配额不足,如何处理? 怎样查看我的配额 登录管理控制台。 单击管理控制台左上角的,选择区域和项目。 在页面右上角,选择“资源 > 我的配额”。 系统进入“服务配额”页面。 图1 我的配额 您可以在“服务配额”页面,查看各项资源的总配额及使用情况。
-
使用Spark作业访问DLI元数据 - 数据湖探索 DLI
1访问元数据,则必须新建队列。 不支持的场景: 在SQL作业中创建了数据库(database),编写程序代码指定在该数据库下创建表。 例如在DLI的SQL编辑器中的某SQL队列下,创建了数据库testdb。后续通过编写程序代码在testdb下创建表testTable,编译打包后提交的Spark Jar作业则会运行失败。