检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DistCP作业导入导出数据常见问题 问:DistCP类型作业导入导出数据时,是否会对比数据的一致性? 答:DistCP类型作业导入导出数据时不会对比数据的一致性,只是对数据进行复制,不会修改数据。 问:DistCP类型作业在导出时,遇到OBS里已经存在的文件是如何处理的? 答:
响应示例 状态码: 201 CREATED 创建分子优化作业成功。 { "id" : "baabcb56-5bb6-11eb-8a0d-fa163e3ddba1" } 创建分子优化作业成功,当前运行作业数已达配额限制,此作业会等待。 { "id" : "baabcb56-5
查看作业历史信息 操作场景 该任务指导您在日常运维中,查看某个Loader作业的历史执行状态以及每次执行时长,同时提供该作业两种操作: 脏数据:查看作业执行过程中处理失败的数据、或者被清洗过滤掉的数据,针对该数据可以查看源数据中哪些数据不符合转换、清洗规则。 日志:查看作业在MapReduce执行的日志信息。
单击“批量删除”,进入作业批量删除界面。 在“批量删除”中选择删除作业类型。 “所有”,表示删除当前所有的作业。 “指定作业”,表示指定需要删除的作业。选择“指定作业”,在作业列表中勾选需要删除的作业。 单击“确定”,开始删除作业。当弹出框中进度条显示100%,则说明作业删除完成。 父主题:
WebUI界面 单击“导出”,进入作业导出界面。 在“选择导出类型”中选择删除作业类型。 “所有”:表示导出当前所有的作业。 “指定作业”:表示指定需要导出的作业。选择“指定作业”,在作业列表中勾选需要导出的作业。 “指定组别”:表示导出某个指定分组中的所有作业。选择“指定分组”,在分组列表中勾选需要导出的作业分组。
String 作业id。 name String 作业的名称,取值范围:[1,63],允许大小写字母、数字、以及特殊字符中划线(-)。 labels Array of strings 作业标签。 status String 作业状态。 type String 作业类型。 create_time
管理作业 作业状态 运行中:作业创建成功,执行中。可单击作业名称,进入详情页查看运行详情。“运行中”的作业允许取消、克隆。 失败:作业运行失败。可单击作业名称,进入详情页查看运行失败原因。失败的作业允许重试、删除、克隆。 成功:作业运行成功。可单击作业名称,进入详情页查看运行详情。成功的作业允许删除、克隆。
“离线作业”下的目标推荐作业,进入作业列表。 在作业列表页面,您可以单击目标作业“操作”列的“删除”。 在删除页面,您可以直接单击“是”只删除该作业。也可以勾选下方的“同时删除作业产生的CloudTable数据”,选择该作业对应的数据进行离线删除。 图1 删除作业 离线作业删除后,将不可恢复,请谨慎操作。
在左侧仿真任务树中,选择一个仿真任务。 在右侧的仿真作业列表中,可按作业状态和作业名称查询仿真作业。 按作业状态查询 单击仿真作业列表上方作业状态图标,可查询某一类状态的仿真作业。例如,单击成功状态图标,查询“成功”状态的仿真作业。 按作业名称查询 在仿真作业列表上方输入框中,输入仿真作业名称关键字,按Enter键或单击输入框中的。
批量导入Loader作业 操作场景 Loader支持批量导入某个配置文件中的所有作业。 本章节适用于MRS 3.x及后续版本。 前提条件 当前用户具备待导入作业所在分组的编辑“Jobs Edit”权限。 如果作业所在的分组不存在,则会自动先创建该分组。当前用户就是该分组的创建者,拥有该分组的编辑“Jobs
不建议直接抢锁处于他人锁定状态的脚本/作业,这会导致他人的修改丢失。如果您有修改需求,请先联系锁定人将脚本/作业解锁,然后再抢锁。 图1 锁定状态转换图 前提条件 已完成作业开发任务。 解锁作业 “提交”会将当前开发态的最新作业保存并提交为版本,并覆盖之前的作业版本。为了便于后续其他开发者对此作业进行修改,
获取管道作业列表 功能介绍 获取用户下的所有管道作业,支持分页。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/pipelines
WebUI界面 单击“作业迁移”,进入作业迁移界面。 在“源分组”中选择待迁移作业当前所属分组,在“目标分组”中选择待迁移作业的目标分组。 在“选择迁移类型”中选择迁移类型。 “所有”:将源分组所有作业迁移到目标分组。 “指定作业”:将源分组中指定的作业迁移到目标分组。选择“指定作业”,在作业列表中勾选需要迁移的作业。
参数解释: 作业运行结果。 约束限制: 不涉及 取值范围: FAILED:执行失败的作业。 KILLED:执行中被手动终止的作业。 UNDEFINED:正在执行的作业。 SUCCEEDED:执行成功的作业。 默认取值: 不涉及 queue 否 String 参数解释: 作业的资源队列类型名称。
StreamingJobInfoDto objects 作业列表 表5 StreamingJobInfoDto 参数 参数类型 描述 job_id String 作业ID 最小长度:1 最大长度:100 job_name String 作业名称 最小长度:1 最大长度:20 job_input_type
在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 在作业目录中,右键单击作业名称,选择“删除”。 图1 删除作业 在弹出的“删除作业”页面,单击“确定”,删除作业。 批量删除 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 在作业目录顶部,单击,选择“显示复选框”,在作业目录前出现复选框。
已创建仿真作业,且作业状态为“处理中”。 操作步骤 在左侧导航栏中,选择任务,进入仿真任务管理页面。 在左侧仿真任务树中,选择待操作的仿真作业的所属的仿真任务。 在右侧的仿真作业列表中,选择需要停止的仿真作业,单击作业名称进入作业详情页面。 在仿真详情页面的右上角,单击“停止作业”。 图1
配置完成后,单击“确定”,提交仿真作业。 提交仿真作业后,系统自动进行仿真作业处理,在仿真作业列表中可查看到新建的仿真作业的状态变化。 仿真作业提交时,如果所选队列还有未处理完成的仿真作业,则新提交的仿真作业的状态会显示“排队中”。 仿真作业开始处理后,仿真作业状态会显示为“处理中”。 仿真作业处理过程中
Flink作业管理界面对用户进行授权时提示用户不存在怎么办? 问题现象 在“作业管理 > Flink作业”,对应作业“操作”列,选择“更多 > 权限管理”,对新用户进行授权操作时提示“No such user. userName:xxxx.”错误。 解决方案 以上问题可能是由于系统未能识别新用户信息。
提交作业失败,报错与OBS相关如何处理? 问 为什么提交作业失败,报错与OBS相关? 答 与OBS相关的报错,一般与读写OBS相关,可通过以下步骤进行排查。 查看作业管理中失败作业详情,找到作业详情中的实际作业编号。如果实际作业编号为空,则执行4。 登录Manager界面,选择“集群