正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 构造依赖信息,创建SparkSession 导入依赖 涉及到的mvn依赖库 1 2 3
DLI为用户提供了作业失败的topic订阅功能。 登录DLI控制台。 单击左侧“队列管理”,进入队列管理页面。 在队列管理页面,单击左上角“创建消息通知主题”进行配置。详细操作请参考《数据湖探索用户指南》。 父主题: 使用咨询
IllegalArgumentException: Access key cannot be null 问题根因 该Flink SQL作业在配置作业运行参数时,有选择保存作业日志或开启Checkpoint,配置了OBS桶保存作业日志和Checkpoint。但是运行该Flink SQL作业的IAM用户没有OBS写入权限导致该问题。
排查客户实际数据,发现客户Kafka数据存在多层嵌套的复杂json体。不支持解析。 有两种方式解决此问题: 通过udf成jar包的形式 修改配置 修改源数据格式,再次执行作业,无问题。 父主题: Flink SQL作业相关问题
使用root用户登录ECS服务器,执行以下命令安装DLI Livy工具。 执行以下命令创建工具安装路径。 mkdir livy安装路径 例如新建路径/opt/livy:mkdir /opt/livy。后续操作步骤均默认以/opt/livy安装路径演示,请根据实际情况修改。 解压工具压缩包到安装路径。 tar --extract
端节点中查询所有服务的终端节点。 数据湖探索的终端节点如下表所示,请您根据业务需要选择对应区域的终端节点。 表1 数据湖探索的终端节点 区域名称 区域 终端节点(Endpoint) 华北-北京四 cn-north-4 dli.cn-north-4.myhuaweicloud.com
高级选项:选择“自定义”。 网段:配置队列网段。例如,当前配置为10.0.0.0/16。 队列的网段不能和DMS Kafka、RDS MySQL实例的子网网段有重合,否则后续创建跨源连接会失败。 其他参数根据需要选择和配置。 参数配置完成后,单击“立即购买”,确认配置信息无误后,单击“提交”完成队列创建。
写入的文件格式,支持按CSV、Parquet、ORC、JSON、Avro格式。 file_format为csv时,options参数可以参考表3。 注意事项 通过配置“spark.sql.shuffle.partitions”参数可以设置非DLI表在OBS桶中插入的文件个数,同时,为了避免数据倾斜,在I
写入的文件格式,支持按CSV、Parquet、ORC、JSON、Avro格式。 file_format为csv时,options参数可以参考表3。 注意事项 通过配置“spark.sql.shuffle.partitions”参数可以设置非DLI表在OBS桶中插入的文件个数,同时,为了避免数据倾斜,在I
参数填写完成后,单击“立即购买”,在界面上确认当前配置是否正确。 单击“提交”完成弹性资源池的创建。 在弹性资源池的列表页,选择要操作的弹性资源池,单击操作列的“添加队列”。 配置队列的基础配置,具体参数信息如下。 表3 弹性资源池添加队列基础配置 参数名称 参数说明 配置样例 名称 弹性资源池添加的队列名称。
队列相关 前提条件 已参考Java SDK概述配置Java SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化。 创建队列 DLI提供创建队列的接口,您可以使用该接口创建队列。示例代码如下: 1 2 3 4 5 6 7 8 9 private static
使用to_timestamp或者to_localtimestamp进行转换。 示例 将amount值转换成字符串,长度为转换后的实际长度,配置的长度无效。 insert into temp select cast(amount as VARCHAR(10)) from source_stream;
Flink作业配置参数 对于Flink Jar作业,您需要在代码中开启Checkpoint,同时如果有自定义的状态需要保存,您还需要实现ListCheckpointed接口,并为每个算子设置唯一ID。然后在作业配置中,勾选“从Checkpoint恢复”,并准确配置Checkpoint路径。
使用to_timestamp或者to_localtimestamp进行转换。 示例 将amount值转换成字符串,长度为转换后的实际长度,配置的长度无效。 insert into temp select cast(amount as VARCHAR(10)) from source_stream;
Connector。详细操作请参考Flink OpenSource SQL1.15语法概览。 Flink 1.15需要配置租户面自定义委托,并在作业中配置委托信息。委托的权限需要根据作业具体的业务场景需求进行配置。详情操作请参考DLI自定义委托。 Flink 1.15作业管理凭据的方法: Flink OpenSource
String 队列名称。 请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 address 是 String 测试地址。格式为:IP地址或域名:访问端口。 响应消息 表3 响应参数 参数名称 是否必选 参数类型 说明 is_success 是 Boolean 请求执行是否成功。“true”表示请求执行成功。
运行Spark作业,作业运行失败,作业日志中提示No respond错误 解决方案 重新创建Spark作业,创建作业时需要在“Spark参数(--conf)”中添加配置:“spark.sql.mrs.opentsdb.ssl.enabled=true”。 父主题: 对接OpenTSDB
图2 Full GC 处理步骤 如果频繁Full GC, 建议排查代码,是否有内存泄漏。 增加单TM所占的资源。 联系技术支持,修改集群心跳配置参数。 父主题: 运维指导
table_name 需要导入数据的DLI表的名称。 以下是可以在导入数据时使用的配置选项: DATA_TYPE: 指定导入的数据类型,当前支持CSV、Parquet、ORC、JSON、Avro类型,默认值为“CSV”。 配置项为OPTIONS('DATA_TYPE'='CSV') 导入CSV和JSON文件时,有三种模式可以选择:
化漏洞(CNVD-2022-40233)等,如发现服务模块涉及漏洞影响,会迅速通过官方解决方案升级现网更新漏洞。 更新配置 DLI云服务通过版本更新升级更新配置。 父主题: 安全