检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
所提交Spark作业的名称。 队列 所提交Spark作业所在的队列。 用户名 执行Spark作业的用户名称。 状态 作业的状态信息,包括如下。 启动中:正在启动 运行中:正在执行任务 已失败:session已退出 已成功:session运行成功 恢复中:正在恢复任务 创建时间 每个作业的创建时间,可按创建时间顺序或倒序显示作业列表。
nt地址相对应。且不同作业的路径不可一致,否则无法获取准确的Checkpoint。 单击右上角“保存”,保存作业和相关参数。 单击右上角“启动”,进入“启动Flink作业”页面,确认作业规格和费用,单击“立即启动”,启动作业。 启动作业后,系统将自动跳转到Flink作业管理页面,
12版本的作业支持开启动态扩缩容。 使用须知 在Flink作业进行动态扩缩容时如果队列资源被抢占,剩余资源不满足作业启动所需资源则可能存在作业无法正常恢复的情况。 在Flink作业进行动态扩缩时后台作业需要停止继而从savepoint恢复,因此未恢复成功前,作业无法处理数据。 因扩缩
创建RDS跨源表提示空指针错误怎么办? 问题现象 客户创建RDS跨源表失败,报空指针的错误。 原因分析 客户建表语句: CREATE TABLE IF NOT EXISTS dli_to_rds USING JDBC OPTIONS ( 'url'='jdbc:mysql:/
DLI跨源连接报错找不到子网怎么办? 问题现象 跨源连接创建对等连接失败,报错信息如下: Failed to get subnet 2c2bd2ed-7296-4c64-9b60-ca25b5eee8fe. Response code : 404, message : {"code":"VPC
“Checkpoint路径”。 单击右上角“保存”,保存作业和相关参数。 单击右上角“启动”,进入“启动Flink作业”页面,确认作业规格和费用,单击“立即启动”,启动作业,系统将自动跳转到Flink作业管理页面,新创建的作业将显示在作业列表中,在“状态”列中可以查看作业状态。
在将约束添加到表中之前会验证所有现有行是否满足约束。 注意事项 在将约束添加到表中之前会验证所有现有行是否满足约束,如果有行不满足约束,约束将添加失败,添加前需先清理不满足约束的数据。 命令格式 ALTER TABLE [database_name.]table_name|DELTA.`
将Spark作业结果存储在MySQL数据库中,缺少pymysql模块,如何使用python脚本访问MySQL数据库? 缺少pymysql模块,可以查看是否有对应的egg包,如果没有,在“程序包管理”页面上传pyFile。具体步骤参考如下: 将egg包上传到指定的OBS桶路径下。 登录DLI管理控制台,单击“数据管理
DLI service api failed错误 问题现象 在CDM迁移数据到DLI,迁移作业提交后,在CDM作业迁移日志中查看作业执行失败,具体日志有如下报错信息: org.apache.sqoop.common.SqoopException: UQUERY_CONNECTOR_0001:Invoke
您需要确保在SELECT子句中选择的字段数量和类型与目标表的Schema信息匹配。即确保源表和目标表的数据类型和列字段个数相同,以避免插入失败。 如果目标表中的某些字段在SELECT子句中没有被指定,那么这些字段也可能被插入默认值或置为空值(取决于该字段是否允许空值)。 父主题:
FAILED”关键字,通过上下文的错误栈,确认失败原因。 如果“jobmanager.log”文件中的信息不足以定位,可以在运行日志中找到对应的“taskmanager.log”日志,搜索“RUNNING to FAILED”关键字,确认失败原因。 父主题: Flink作业性能调优类
可。 该步骤用户可以配置如下可选功能: 作业失败重试:如果作业执行失败,可选择是否自动重试,这里保持默认值“不重试”。 作业分组:选择作业所属的分组,默认分组为“DEFAULT”。在CDM“作业管理”界面,支持作业分组显示、按组批量启动作业、按分组导出作业等操作。 是否定时执行:
且不同作业的路径不可一致,否则无法获取准确的Checkpoint。 单击右上角“保存”,保存作业和相关参数。 单击右上角“启动”,进入“启动Flink作业”页面。 在“启动Flink作业”页面确认作业规格和费用,单击“立即启动”,启动作业。 启动作业后,系统将自动跳转到Flin
取消作业(废弃) 功能介绍 该API用于取消已经提交的作业,若作业已经执行结束或失败则无法取消。 当前接口已废弃,不推荐使用。 URI URI格式: DELETE /v1.0/{project_id}/queues/{queue_name}/jobs/{job_id} 参数说明 表1
参数才能维持性能;同时由于Flink冷启动的时候需要遍历全表数据,大数据量也会导致Flink作业启动缓慢。因此基于简化使用的角度,针对大数据量的表,可以通过采用Bucket索引来避免状态后端的复杂调优。 如果Bucket索引+分区表的模式无法平衡Bueckt桶过大的问题,还是可以
DLI是否存在Apache Spark 命令注入漏洞(CVE-2022-33891)? 不存在。 DLI没有启动spark.acls.enable配置项,所以不涉及Apache Spark 命令注入漏洞(CVE-2022-33891)。 该漏洞主要影响在启用了ACL(访问控制列表
表名必须满足Hive格式要求 表名必须以字母或下划线开头,不能以数字开头。 表名只能包含字母、数字、下划线。 表名长度不能超过128个字符。 表名中不能包含空格和特殊字符,如冒号、分号、斜杠等。 表名不区分大小写,但建议使用小写字母。 Hive保留关键字不能作为表名,如select、from、where等。
取消作业(推荐) 功能介绍 该API用于取消已经提交的作业,若作业已经执行结束或失败则无法取消。 调试 您可以在API Explorer中调试该接口。 URI URI格式: DELETE /v1.0/{project_id}/jobs/{job_id} 参数说明 表1 URI 参数
说明 is_success Boolean 是否成功。 message String 系统提示信息,执行成功时,信息可能为空。执行失败时,用于显示执行失败的原因。 请求消息 删除ID为27b79c50-4ac6-4050-8b81-8f0dbd7be184的SQL模板。 {
e_name是一个角色。 USER:限定后面的user_name是一个用户。 注意事项 privilege必须为赋权对象在resource中的已授权限,否则会回收失败。Privilege支持的权限类型可参见数据权限列表。 resource可以是queue、database、table、view、column,格式分别为: