检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建sink流将DLI数据输出到对象存储服务(OBS)。DLI可以将作业分析结果输出到OBS上。适用于大数据分析、原生云应用程序数据、静态网站托管、备份/活跃归档、深度/冷归档等场景。 对象存储服务(Object Storage Service,简称OBS)是一个基于对象的海量存
创建sink流将DLI数据输出到对象存储服务(OBS)。DLI可以将作业分析结果输出到OBS上。适用于大数据分析、原生云应用程序数据、静态网站托管、备份/活跃归档、深度/冷归档等场景。 对象存储服务(Object Storage Service,简称OBS)是一个基于对象的海量存
创建RDS跨源表提示空指针错误怎么办? 问题现象 客户创建RDS跨源表失败,报空指针的错误。 原因分析 客户建表语句: CREATE TABLE IF NOT EXISTS dli_to_rds USING JDBC OPTIONS ( 'url'='jdbc:mysql:/
DLI使用SMN主题,提示SMN主题不存在,怎么处理? 设置DLI Flink作业的运行参数时,勾选“作业异常告警”参数,可在作业出现运行异常或者欠费情况时,将作业异常告警信息,以SMN的方式通知用户。 如果遇到提示SMN主题不存在您可以按照以下步骤进行排查: 确认SMN主题是否已经创建。
DLI分区内表导入的文件不包含分区列的数据,导致数据导入完成后查询表数据失败怎么办? 问题现象 DLI分区内表导入了CSV文件数据,导入的文件数据没有包含对应分区列的字段数据。分区表查询时需要指定分区字段,导致查询不到表数据。 问题根因 DLI分区内表在导入数据时,如果文件数据没
作业语义检验时提示DIS通道不存在怎么处理? 处理方法如下: 登录到DIS管理控制台,在左侧菜单栏选择“通道管理”。检查Flink作业SQL语句中的DIS通道是否存在。 如果Flink作业中的DIS通道还未创建,请参见《数据接入服务用户指南》中“开通DIS通道”章节。 确保创建的
DLI跨源连接报错找不到子网怎么办? 问题现象 跨源连接创建对等连接失败,报错信息如下: Failed to get subnet 2c2bd2ed-7296-4c64-9b60-ca25b5eee8fe. Response code : 404, message : {"code":"VPC
DLI增强型跨源连接DWS失败怎么办? 问题现象 客户创建增强型跨源连接DLI和DWS,安全组已配置出方向规则到关联队列,使用的是密码形式的跨源认证,报DLI.0999: PSQLException: The connection attempt failed。 原因分析 出现该问题可能原因如下:
通过DLI跨源写DWS表,非空字段出现空值异常怎么办? 问题现象 客户在DWS建表,然后在DLI创建跨源连接读写该表,突然出现如下异常,报错信息显示DLI向该表某非空字段写入了空值,因为非空约束存在导致作业出错。 报错信息如下: DLI.0999: PSQLException: ERROR:
字符码不一致导致数据乱码怎么办? 在DLI执行作业时,为了避免因字符编码不一致导致的乱码问题,建议您统一数据源的编码格式。 DLI服务只支持UTF-8文本格式,因此在执行创建表和导入操作时,用户的数据需要以UTF-8编码。 在将数据导入DLI之前,确保源数据文件(如CSV、JSO
跨源访问MRS HBase,连接超时,日志未打印错误怎么办? 用户在跨源连接中没有添加集群主机信息,导致KRB认证失败,故连接超时,日志也未打印错误。 建议您重新配置主机信息后再重试访问MRS HBase。 在“增强型跨源”页面,单击该连接“操作”列中的“修改主机信息”,在弹出的对话框中,填写主机信息。
Jobmanager与Taskmanager心跳超时,导致Flink作业异常怎么办? 问题现象 Jobmanager与Taskmanager心跳超时,导致Flink作业异常。 图1 异常信息 根因分析 检查网络是否发生闪断,分析集群负载是否很高。 如果频繁出现Full GC, 建议排查代码,确认是否有内存泄漏。
Flink jobmanager日志一直报Timeout expired while fetching topic metadata怎么办? Flink JobManager提示 "Timeout expired while fetching topic metadata" ,说
查询DWS表 SELECT命令用于查询DWS表中的数据。 语法格式 1 SELECT * FROM table_name LIMIT number; 关键字 LIMIT:对查询结果进行限制,number参数仅支持INT类型。 注意事项 所查询的表必须是已经存在的表,否则会出错。
创建source流从对象存储服务(OBS)获取数据。DLI从OBS上读取用户存储的数据,作为作业的输入数据。适用于大数据分析、原生云应用程序数据、静态网站托管、备份/活跃归档、深度/冷归档等场景。 对象存储服务(Object Storage Service,简称OBS)是一个基于对象的海量存
创建source流从对象存储服务(OBS)获取数据。DLI从OBS上读取用户存储的数据,作为作业的输入数据。适用于大数据分析、原生云应用程序数据、静态网站托管、备份/活跃归档、深度/冷归档等场景。 对象存储服务(Object Storage Service,简称OBS)是一个基于对象的海量存
SQL作业执行完成后,修改表名导致datasize不正确怎么办? 在执行SQL作业后立即修改表名,可能会导致表的数据大小结果不正确。 这是因为DLI在执行SQL作业时,会对表进行元数据更新,如果在作业执行完成前修改了表名,会和作业的元数据更新过程冲突,从而影响对数据大小的判断。
将Spark作业结果存储在MySQL数据库中,缺少pymysql模块,如何使用python脚本访问MySQL数据库? 缺少pymysql模块,可以查看是否有对应的egg包,如果没有,在“程序包管理”页面上传pyFile。具体步骤参考如下: 将egg包上传到指定的OBS桶路径下。 登录DLI管理控制台,单击“数据管理
在default队列执行DLI SQL失败,提示超时异常怎么办? 问题现象 使用default队列提交SQL作业,作业运行异常,排查作业日志显示Execution Timeout异常。异常日志参考如下: [ERROR] Execute DLI SQL failed. Please
DLI创建跨源连接,绑定队列一直在创建中怎么办? 跨源连接创建慢,有以下几种可能: 购买DLI队列后,第一次进行绑定队列。通常需要等待5~10分钟,待后台拉起集群后,即可创建成功。 若刚刚对队列进行网段修改,立即进行绑定队列。通常需要等待5~10分钟,待后台重建集群后,即可创建成功。