检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DLI创建跨源连接,绑定队列一直在创建中怎么办? 跨源连接创建慢,有以下几种可能: 购买DLI队列后,第一次进行绑定队列。通常需要等待5~10分钟,待后台拉起集群后,即可创建成功。 若刚刚对队列进行网段修改,立即进行绑定队列。通常需要等待5~10分钟,待后台重建集群后,即可创建成功。
和数据处理任务,是资源池中资源被实际使用和分配的基本单元,即队列是执行作业所需的具体的计算资源。 同一弹性资源池中,队列之间的计算资源支持共享。 通过合理设置队列的计算资源分配策略,可以提高计算资源利用率。本章节介绍创建弹性资源池并添加队列的操作步骤。 DLI弹性资源池之间为物理
跨源RDS表,执行insert overwrite提示Incorrect string value错误怎么办? 问题现象 客户在数据治理中心DataArts Studio创建DLI的跨源RDS表,执行insert overwrite语句向RDS写入数据报错:DLI.0999: B
table_name 需要清理无效数据文件的Hudi表的表名,必选。 op_type 命令运行模式,可选,默认值为dry_run,取值:dry_run、repair、undo、query。 dry_run:显示需要清理的无效数据文件。 repair:显示并清理无效的数据文件。 undo:恢复已清理的数据文件
手动在OBS表的分区目录下添加了数据,但是无法查询到数据怎么办? 问题现象 手动在OBS表的分区目录下上传了分区数据,但是在SQL编辑器中查询该表新增的分区数据时却查询不到。 解决方案 手动添加分区数据后,需要刷新OBS表的元数据信息。具体操作如下: MSCK REPAIR TABLE
用户”,选择新建用户,选择“更多 > 下载认证凭据”,保存后解压得到用户的keytab文件与krb5.conf文件。 创建MRS HBase表 创建DLI表关联MRS HBase表之前确保HBase的表是存在的。以样例代码为例,具体的流程是: 远程登录ECS,通过hbase shell命令查看表信息。其中,“hbtest”是要查询的表名。
按照如下操作查看taskmanager.out文件中的数据结果。 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业名称,选择“运行日志”,单击“OBS桶”,根据作业运行的日期,找到对应日志的文件夹。 进入对应日期的文件夹后,找到名字中包含“taskmanager”的文件夹进入,下载获取taskmanager
更新跨源目的端源表后,未同时更新对应跨源表,导致insert作业失败怎么办? 问题现象 客户在DLI中创建了DWS跨源连接和DWS跨源表,然后对DWS中的源表schema进行更新,执行DLI作业,发现DWS中源表schema被修改为更新前的形式,导致schema不匹配,作业执行失败。
指定的instant所更新或插入的文件位于哪个分区 file_id 指定的instant所更新或插入的文件的ID previous_commit 指定的instant所更新或插入的文件的文件名中的时间戳 total_records_updated 该文件中多少个record被更新 t
join表时没有添加on条件,造成笛卡尔积查询,导致队列资源爆满,作业运行失败怎么办? 问题现象 运行的SQL语句中存在join表,但是join没有添加on条件,多表关联造成笛卡尔积查询,最终导致队列资源占满,该队列上的作业运行失败。 例如,如下问题SQL语句,存在三个表的left
"obs://bucket/path/h1"; 注意事项 首先需要执行clean命令,在clean命令清理了历史的数据文件后,Timeline上与清理的数据文件对应的Instant才允许归档。 不管是否进行compaction操作,至少会保留hoodie.compact.inline
在Flink SQL作业中创建表使用EL表达式,作业运行提示DLI.0005错误怎么办? 问题现象 Flink SQL作业创建表时,表名使用EL表达式,运行作业时报如下错误: DLI.0005: AnalysisException: t_user_message_input_#{
其他依赖文件 用户自定义的依赖文件。在选择依赖文件之前需要将对应的文件上传至OBS桶中,并在“数据管理>程序包管理”中创建程序包,包类型没有限制,具体请参考创建程序包。 通过在应用程序中添加以下内容可访问对应的依赖文件。其中,“fileName”为需要访问的文件名,“ClassName”为需要访问该文件的类名。
按照如下操作查看taskmanager.out文件中的数据结果。 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业名称,选择“运行日志”,单击“OBS桶”,根据作业运行的日期,找到对应日志的文件夹。 进入对应日期的文件夹后,找到名字中包含“taskmanager”的文件夹进入,下载获取taskmanager
DLI“包年/包月”和“按需计费”计费模式队列和“队列CU时套餐包”下线(EOL)公告 公告说明 为了更好的实现资源共享,提高计算资源利用率,DLI将“包年/包月”和“按需计费”计费模式队列升级为“弹性资源池队列”。即使用DLI计算资源需先购买弹性资源池,并在弹性资源池中创建队列。
Flink Jar作业类 Flink Jar作业是否支持上传配置文件,要如何操作? Flink Jar 包冲突,导致作业提交失败 Flink Jar作业访问DWS启动异常,提示客户端连接数太多错误 Flink Jar作业运行报错,报错信息为Authentication failed
OBS桶”,根据作业运行的日期,找到对应日志的文件夹。 进入对应日期的文件夹后,找到名字中包含“taskmanager”或“jobmanager”的文件夹进入,下载获取taskmanager.out和jobmanager.out文件查看结果日志。 验证跨源是否正确绑定且安全组规则已对该队列开放。
schema_name 描述 DATABASE和SCHEMA在此处是等价的,可互换的,它们有这相同的含义。 该语法用于显示SCHEMA的名称、注释、还有它在文件系统上的根路径。 可选项EXTENDED可以用来显示SCHEMA的数据库属性。 示例 CREATE SCHEMA web; DESCRIBE
默认值 multiLevelDirEnable 否 是否迭代查询子目录中的数据。当配置为true时,查询该表时会迭代读取该表路径中所有文件,包含子目录中的文件。 false compression 否 指定压缩格式。一般为parquet格式时指定该参数,推荐使用'zstd'压缩格式。 -
参数类型 说明 data_path 是 String 导出结果存储的路径(当前仅支持将数据存储在OBS上)。另外,该路径下的文件夹须不存在,如请求样例中的“path”文件夹。 compress 否 String 导出数据的压缩格式,目前支持gzip,bzip2和deflate压缩方式; 默认值为none,表示不压缩。