检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
执行作业,检查日志:(注意:日志归档耗时较长,在作业执行完成后,日志可能需要等待1-5分钟才能归档。) 点击执行后会跳转到”Spark作业”界面,此处可以看到作业的执行状态。
queue queueActions 扩容/缩容队列 queue queueActions 提交作业(SQL) queue submitJob 取消作业(SQL) jobs cancelJob 授权obs桶给DLI服务 obs authorizeObsBucketsForStream 检查
检查88CUs是否为16CU的倍数,由于88不能被16整除,故向上取整为96CUs。 表1 弹性资源池实际CUs分配示例 场景说明 资源类型 CU范围 新建弹性资源池64-112CUs 添加了两个队列,分别为队列A和队列B。
通常队列资源缩容时,系统会先检查资源使用情况,判断是否存在缩容空间,如果现有资源无法按照最小缩容步长执行缩容任务,则队列可能缩容不成功,或缩容一部分规格的情况。 因资源规格不同可能有不同的缩容步长,通常是16CUs、32CUs、48CUs、64CUs等。
source.id, comb = h0.comb + source.comb, price = source.price * 2 when matched and flag = true then delete when not matched then insert *; 系统响应 可以检查任务状态是否成功
在DLI管理控制台,选择“作业模板”>“SQL模板”>“样例模板”,在“tpchQuery”下找到“Q1_价格摘要报告查询”样例模板,单击操作列的“执行”进入“SQL编辑器”。
及时对Hudi表进行Compaction,防止Hudi source算子checkpoint完成时间过长 当Hudi Source算子checkpoint完成时间长时,检查该Hudi表Compaction是否正常。因为当长时间不做Compaction时list性能会变差。
sink.check-interval 10000 否 加载时检查间隔异常。 sink.max-retries 3 否 将记录写入数据库失败时的最大重试次数。 sink.buffer-size 256 * 1024 否 缓存流加载数据的缓冲区大小。
全量阶段支持checkpoint 增量快照读取提供了在区块级别执行检查点的能力。它使用新的快照读取机制解决了以前版本中的检查点超时问题。
page_number} 查询作业状态 - - GET/v1.0/{project_id}/jobs/{job_id}/status 查询作业详细信息 - - GET/v1.0/{project_id}/jobs/{job_id}/detail 查询SQL类型作业 listSQLJobs - - 检查
升级引擎版本后是否对作业有影响: 有影响,需要检查使用该函数的场景。
自作业提交以来的重新启动总数 flink_jobmanager_job_lastCheckpointDuration 完成最新checkpoint所用的时间 flink_jobmanager_job_lastCheckpointSize 最新checkpoint的大小,如果启用了增量检查点或更改日志
如果语法校验失败,请参考《数据湖探索SQL语法参考》检查SQL语句准确性。 如果语法校验通过,单击“执行”,阅读并同意隐私协议,单击“确定”后执行SQL语句。 SQL语句执行成功后,在SQL作业编辑窗口下方会显示执行结果。 查看作业执行结果。
准备工作 已注册华为账号并开通华为云,且在使用DLI前检查账号状态,账号不能处于欠费或冻结状态。 配置DLI委托访问授权 DLI使用过程中涉及到OBS、VPC、SMN等服务交互,首次使用DLI需要用户配置委托授权,允许访问这些依赖服务。
source ~/.bashrc 执行命令java -version,检查是否安装成功,如下显示版本号信息说明java环境安装成功。
checkpoint_path 否 String 检查点保存路径。 config_url 否 String 用户上传的config包OBS路径。 tm_cus 否 int 单TM所占CU数。 tm_slot_num 否 int 单TM Slot数。
单击“下一步”进入字段映射界面,CDM会自动匹配源端和目的端的数据表字段,需用户检查字段映射关系是否正确。 如果字段映射关系不正确,用户单击字段所在行选中后,按住鼠标左键可拖拽字段来调整映射关系。
准备工作 已注册华为账号并开通华为云,且在使用DLI前检查账号状态,账号不能处于欠费或冻结状态。 配置DLI委托访问授权 DLI使用过程中涉及到OBS、VPC、SMN等服务交互,首次使用DLI需要用户配置委托授权,允许访问这些依赖服务。
checkpoint_path 否 String 检查点保存路径。 idle_state_retention 否 Integer 空闲状态过期周期。 config_url 否 String 用户上传的config包OBS路径。
在执行缩容任务时,系统会先检查资源使用情况,判断是否存在缩容空间,如果现有资源无法按照最小缩容步长执行缩容任务,则弹性资源池可能缩容不成功,或缩容一部分规格的情况。 因资源规格不同可能有不同的缩容步长,通常是16CUs、32CUs、48CUs、64CUs等。