检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink作业怎样设置“异常自动重启”? 场景概述 DLI Flink作业具有高可用保障能力,通过设置“异常自动重启”功能,可在周边服务短时故障恢复后自动重启。 操作步骤 登录DLI控制台,选择“作业管理”>“Flink作业”。 在Flink作业编辑页面,勾选“异常自动重启”。例如,图1所示。
包年包月弹性资源池设置了定时扩缩容时,怎样计费? 假设您在2023/03/08 15:50:04购买了包年/包月弹性资源池(CU范围:64CUs),购买时长为一个月,在资源运行一段时间后发现使用过程中大部分时间CU数在128CU以上(假设每天累计12个小时实际CUs为128CUs
days 多版本中备份数据保留的日期。默认为7天,建议设置在1到7天范围内。 注意事项 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表,具体建表语法可以参考使用Hive语法创建OBS表。 示例 在DLI数据多版本中,设置备份数据保留时间为5天。 1 2 ALTER TABLE
用户获取Spark作业委托临时凭证 本操作介绍获取Spark Jar作业委托临时凭证的操作方法。 方案2:Spark Jar作业设置获取AK/SK 获取结果为AK/SK时,设置如下: 代码创建SparkContext val sc: SparkContext = new SparkContext()
”或“公网访问域名”,如果通过内网地址连接,请指定为集群“内网访问地址”或“内网访问域名”。如果通过弹性负载均衡连接,请指定为“弹性负载均衡地址”。 dbadmin:创建集群时设置的默认管理员用户名。 password :默认管理员用户的密码。 在命令行窗口输入以下命令创建数据库“testdwsdb”。
Flink Jar作业设置backend为OBS,报错不支持OBS文件系统 问题现象 客户执行Flink Jar作业,通过设置checkpoint存储在OBS桶中,作业一直提交失败,并伴有报错提交日志,提示OBS桶名不合法。 原因分析 确认OBS桶名是否正确。 确认所用AKSK是否有权限。
compaction命令时,禁止将hoodie.run.compact.only.inline设置成false,该值需要设置成true。 错误示例: 配置参数 hoodie.run.compact.only.inline=false 随后执行SQL run compaction on
”或“公网访问域名”,如果通过内网地址连接,请指定为集群“内网访问地址”或“内网访问域名”。如果通过弹性负载均衡连接,请指定为“弹性负载均衡地址”。 dbadmin:创建集群时设置的默认管理员用户名。 -W:默认管理员用户的密码。 在命令行窗口输入以下命令创建数据库“testdwsdb”。
激活队列扩缩容定时任务。默认开启。如果关闭,则系统不会触发执行当前设置的定时规格变更任务。 有效期 设置执行定时任务的时间段。包括“日期”和“时间”。 说明: “有效期”中的“开始时间”需要晚于当前的系统时间。 如果只设置了扩容,在“有效期”结束之后,系统不会自动缩容,需要手动修改或设置缩容定时任务。反之亦然。即为单次执行定时扩缩容。
如果SQL语句中指定了表所在的数据库,则此处选择的数据库无效。 设置 包括设置“参数设置”和“标签”。 参数设置:以“key/value”的形式设置提交SQL作业的配置项。详细内容请参见《数据湖探索SQL语法参考》。 标签:以“key/value”的形式设置SQL作业的标签。 创建数据库和表。 您可以
Flink作业怎样设置“异常自动重启”? Flink作业如何保存作业日志? Flink作业管理界面对用户进行授权时提示用户不存在怎么办? 手动停止了Flink作业,再次启动时怎样从指定Checkpoint恢复? DLI使用SMN主题,提示SMN主题不存在,怎么处理? 父主题: Flink作业类
”或“公网访问域名”,如果通过内网地址连接,请指定为集群“内网访问地址”或“内网访问域名”。如果通过弹性负载均衡连接,请指定为“弹性负载均衡地址”。 dbadmin:创建集群时设置的默认管理员用户名。 -W:默认管理员用户的密码。 在命令行窗口输入以下命令创建数据库“testdwsdb”。
该特性允许用户在给表新增列时,设置列的默认值。查询历史数据时新增列返回默认值。 使用约束 新增列在设置默认值前,如果数据已经进行了重写,则查询历史数据不支持返回列的默认值,返回NULL。数据入库、更新、执行Compaction、Clustering都会导致部分或全部数据重写。 列的默认值设置要与列的类
该场景作业需要运行在DLI的独享队列上,因此要与HBase建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 若使用MRS HBase,请
该场景作业需要运行在DLI的独享队列上,因此要与HBase建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 如果使用MRS HBase,
failure错误怎么办? 跨源访问MRS HBase,连接超时,日志未打印错误怎么办? DLI跨源连接报错找不到子网怎么办? 跨源RDS表,执行insert overwrite提示Incorrect string value错误怎么办? 创建RDS跨源表提示空指针错误怎么办? 对跨源DWS表执行insert
为什么在DLI控制台中查询不到表? OBS表压缩率较高怎么办? 字符码不一致导致数据乱码怎么办? 删除表后再重新创建同名的表,需要对操作该表的用户和项目重新赋权吗? DLI分区内表导入的文件不包含分区列的数据,导致数据导入完成后查询表数据失败怎么办? 创建OBS外表,由于OBS文件中的某字段存在换行符导致表字段数据错误怎么办?
在“程序包管理”页面,单击右上角“创建”可创建程序包。 在“创建程序包”对话框,配置如下参数: 包类型:PyFile。 OBS路径:选择1.aegg包所在的OBS路径。 分组设置和分组名称根据情况选择。 单击“确定”完成程序包上传。 在报错的Spark作业编辑页面,“依赖python文件”处选择已上传的egg程序包,重新运行Spark作业。
队列引擎版本升级后,在创建表时,提示权限不足怎么办? 什么是DLI分区表的列赋权? 更新程序包时提示权限不足怎么办? 执行SQL查询语句报错:DLI.0003: Permission denied for resource.... 已经给表授权,但是提示无法查询怎么办? 表继承数据库权限后,对表重复赋予已继承的权限会报错吗?
按需计费的弹性资源池,如果没提交作业运行就不计费? 想要使用扫描套餐包计费,购买队列还要额外收费吗? 超出套餐包额度的使用量怎么收费? 弹性资源池的实际CUs、CU范围、规格的含义 包年包月弹性资源池设置了定时扩缩容时,怎样计费?