检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CDL任务运行一段时间后发生“104”或“143”报错 现象描述 CDL任务运行一段时间后,Yarn任务失败,并返回状态码“104”或“143”。下图为返回状态码“143”: 可能原因 抓取到Hudi中的一批数据量过大,导致任务内存不足。 处理步骤 登录FusionInsight Manager,选择“集群
命令配置环境变量。 执行kinit admin命令。 执行zkCli.sh -server ZooKeeper节点业务IP地址:2181连接ZooKeeper。 执行deleteall /recovering删除垃圾数据。然后执行quit退出ZooKeeper连接。 执行该命令会导致数据丢失,请谨慎操作。
命令配置环境变量。 执行kinit admin命令。 执行zkCli.sh -server ZooKeeper节点业务IP地址:2181连接ZooKeeper。 执行deleteall /recovering删除垃圾数据。然后执行quit退出ZooKeeper连接。 执行该命令会导致数据丢失,请谨慎操作。
x及之后版本)。 选择“集群 > 待操作集群的名称 > 概览 > 更多 > 下载客户端”。 下载集群客户端。 “选择客户端类型”选择“仅配置文件”,选择平台类型,单击“确定”开始生成客户端配置文件,文件生成后默认保存在主管理节点“/tmp/FusionInsight-Client/”。 登录Manager的主管理节点。
作业所依赖的原始lib包。无实体进程,作业运行过程不依赖FlinkResource。 FlinkServer:基于Web的作业管理二次开发平台,可直接在界面开发与管理FlinkSQL作业。具有运维管理界面化、作业开发SQL标准化等特点。 Flink结构如图2所示。 图2 Flink结构
Stream Load创建导入的协议使用的是HTTP协议,通过Basic access authentication进行签名。Doris系统会根据签名验证用户身份和导入权限。 导入任务参数(格式为:-H "key1:value1") label 导入任务的标识。每个导入任务,都有一个在单da
Tez引擎执行union后使用concatenate合并小文件数据丢失。 重启Zookeeper节点后Hive SQL执行失败。 普通集群,Hive需验证token,导致Flink管理面提交hive catlog作业失败。 MetaStore删除分区偶现死锁。 Tez引擎insert overwrite插入空集不会覆盖原数据。
Manager,修改该用户初始密码。 配置MRS Hive集群与Doris集群互信。 配置MRS Hive集群与Doris集群互信,详细操作请参考集群互信管理。 配置后验证。 以root用户登录Doris集群客户端,执行以下命令加载环境变量。 source 客户端安装路径/bigdata_env 执行以下命令认证Hive集群用户。
Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 当前版本可用规格 错误码 请参见错误码。 父主题: 版本元数据查询
Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 查询集群详情成功。 错误码 请参见错误码。 父主题: 集群管理接口
Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 操作成功。 错误码 请参见错误码。 父主题: 标签管理接口
默认取值: 不涉及 请求参数 无 响应参数 状态码: 202 表2 响应Body参数 参数 参数类型 描述 sql_results Object 参数解释: SQL语句查询结果。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 状态码: 400 表3 响应Body参数 参数 参数类型
无 响应参数 状态码: 200 表2 响应Body参数 参数 参数类型 描述 cluster_versions Array of strings 参数解释: 集群版本列表。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 请求示例 无 响应示例 状态码: 200 请求成功
Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 201 数据连接创建成功 错误码 请参见错误码。 父主题: 数据连接管理
Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 查询数据连接列表成功 错误码 请参见错误码。 父主题: 数据连接管理
Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 查询主机列表信息成功。 错误码 请参见错误码。 父主题: 集群管理接口
此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 相关参数获取方法如下: MRS 2.x及以前版本: 当前慢盘故障告警的检查原理为: 在Linux平台上判断IO是否存在问题,输入命令iostat -x -t 1,观察svctm的值(如图所示红色框中的部分)。 svctm值表示该磁盘IO服务时间。
Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 操作成功。 错误码 请参见错误码。 父主题: 标签管理接口
Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 202 同步请求下发的结果 错误码 请参见错误码。 父主题: IAM同步管理接口
选择“集群 > 服务 > HDFS”,选择“更多 > 下载客户端”。“选择客户端类型”设置为“仅配置文件”,根据待安装客户端节点的节点类型选择正确的平台类型后(x86选择x86_64,ARM选择aarch64)单击“确定”。 等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 例