检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
手动停止了Flink作业,再次启动时怎样从指定Checkpoint恢复? 问题现象 在创建Flink作业时开启了Checkpoint,指定了Checkpoint保存的OBS桶。手工停止Flink作业后,再次启动该Flink作业怎样从指定Checkpoint恢复。 解决方案 由于Flink
运行作业。 准备容器环境。 请参考安装容器引擎文档中的“安装容器引擎”章节。 使用root用户登录1容器镜像环境,执行以下命令获取DLI的基础镜像。 本示例使用Spark基础镜像为例,使用docker pull方式下载基础镜像到1中的容器镜像环境。 docker pull 基础镜像下载地址
"description": "test", "owner": "tenant1", "cluster_name": "cluster1", "status": "AVAILABLE", "resource_mode": 0
Flink Jar作业访问DWS启动异常,提示客户端连接数太多错误 问题描述 提交Flink Jar作业访问DWS数据仓库服务时,提示启动失败,作业日志报如下错误信息。 FATAL: Already too many clients, active/non-active/reserved:
"is_success": true, "message": "Restart success" } “force”为“true” { "is_success": true, "message": "Submit restart job success, it
足、数据倾斜、网络问题或任务过多导致的。 解决方案: 设置并发数:通过设置合适的并发数,可以启动多任务并行运行,从而提高作业的处理能力。 例如访问DWS大批量数据库数据时设置并发数,启动多任务的方式运行,避免作业运行超时。 具体并发设置可以参考对接DWS样例代码中的partiti
详细安装操作指导请参考安装SuperSet 以Docker安装Superset为例: 安装Docker: 确保当前主机系统上安装了Docker。 拉取Superset Docker镜像: docker pull apache/superset 启动Superset容器: docker run -p 8088:8088
查看该作业执行的结果。目前仅支持查看“QUERY”类型作业的执行结果。 该API只能查看前1000条的结果记录,且不支持分页查询。若要查看全部的结果记录,需要先导出查询结果再进行查看,详细请参见导出查询结果。 调试 您可以在API Explorer中调试该接口。 URI URI格式:
否 String 作业状态描述。 create_time 否 Long 作业创建时间。 start_time 否 Long 作业启动时间。“0”表示尚未启动。 duration 否 Long 作业运行时长。 单位ms,“show_detail”为“false”时独有。 root_id
行的结果。目前仅支持查看“QUERY”类型作业的执行结果。 当前接口已废弃,不推荐使用。 该API只能查看前1000条的结果记录,若要查看全部的结果记录,需要先导出查询结果再进行查看,详细请参见导出查询结果。 URI URI格式: GET/v1.0/{project_id}/qu
无法获取准确的Checkpoint。 单击右上角“保存”,保存作业和相关参数。 单击右上角“启动”,进入“启动Flink作业”页面,确认作业规格和费用,单击“立即启动”,启动作业。 启动作业后,系统将自动跳转到Flink作业管理页面,新创建的作业将显示在作业列表中,在“状态”列中
该API用于在执行SQL查询语句的作业完成后,查看该作业执行的结果。目前仅支持查看“QUERY”类型作业的执行结果。 该API只能查看前1000条的结果记录,若要查看全部的结果记录,需要先导出查询结果再进行查看,详细请参见导出查询结果。 当前接口已废弃,不推荐使用。 URI URI格式: GET/v1.0/
其他云服务。 发布区域:全部 创建DLI自定义委托 OBS 2.0支持 自定义镜像 DLI支持容器部署的集群。在容器集群中,Spark作业和Flink作业相关组件都运行在容器中,通过下载DLI提供的自定义镜像,可以改变Spark作业和Flink作业的容器运行环境。例如,在自定义镜
也可以在作业列表中,勾选一个作业,单击作业列表左上方的“启动”。 批量启动作业 勾选多个作业,单击作业列表左上方的“启动”,可以启动多个作业。 单击“启动”后,跳转至“作业配置清单”页面。 在“作业配置清单”页面,确认作业信息及价格,如果无误,单击“立即启动”。 作业启动后,可在对应作业的“状态”列中查看运行成功或失败。
upper/ucase upper函数用于从将文本字符串转换成字母全部大写的形式。 命令格式 upper(string A) 或 ucase(string A) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 A 是 STRING 待转换的文本字符串。 返回值说明 返回STRING类型。
character”问题。 问题 将代码直接复制到py文件中后,'\'后出现“unexpected character”问题。 解决方案 将'\'后面的缩进或是空格全部删除。 父主题: 对接Redis
INTO命令,根据一张表或子查询的连接条件对另外一张表进行查询,连接条件匹配上的进行UPDATE或DELETE,无法匹配的执行INSERT。这个语法仅需要一次全表扫描就完成了全部同步工作,执行效率要高于INSERT+UPDATE。 注意事项 分区表合并需要设置参数spark.sql.forcePartitionPr
志中提示java server connection或container启动失败 问题现象 运行Spark作业,作业运行失败,作业日志中提示java server connection或container启动失败。 解决方案 确认是否已修改跨源连接的主机信息,如果没有,请参考DL
INTO命令,根据一张表或子查询的连接条件对另外一张表进行查询,连接条件匹配上的进行UPDATE或DELETE,无法匹配的执行INSERT。这个语法仅需要一次全表扫描就完成了全部同步工作,执行效率要高于INSERT+UPDATE。 命令格式 MERGE INTO tableIdentifier AS target_alias
lower/lcase lower函数用于将文本字符串转换成字母全部小写的形式。 命令格式 lower(string A) / lcase(string A) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 A 是 STRING 待转换的文本字符串。 返回值说明 返回为STRING类型的值。