正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
appsSubmitted 已经提交的任务数。 appsCompleted 已经完成的任务数。 appsPending 正在挂起的任务数。 appsRunning 正在运行的任务数。 appsFailed 已经失败的任务数。 appsKilled 已经被kill的任务数。 totalMB Yarn资源总的内存。
的是丢失的这个task在哪个节点上面运行,一般的情况是这个丢失的task异常退出导致的。 处理步骤 问题1: 对于数据量过大,需要调整executor的内存大小的,使用--executor-memory指定内存大小; 对于同时运行的task太多,主要看--executor-cores设置的vcore数量。
勾选待操作主机前的复选框。 在“更多”选择“健康检查”启动任务。 健康检查的结果可直接在检查列表左上角单击“导出报告”,选择导出结果。如果发现问题,可以单击“查看帮助”。 执行集群节点健康检查(2.x及之前版本) 登录MRS Manager。 单击“主机管理”。 勾选待检查主机前的复选框。
HiveServer1中使用HiverServer2创建的UDF,如果不及时同步元数据信息,连接HiveServer1的客户端也会提示上述错误信息。 可能原因 多个HiveServer之间或者Hive与Spark之间共用的元数据未同步,导致不同HiveServer实例内存数据不一致,造成UDF不生效。
API接口介绍 功能简介 通过HTTP REST API来查看更多MapReduce任务的信息。目前Mapresuce的REST接口可以查询已完成任务的状态信息。完整和详细的接口请直接参考官网上的描述以了解其使用:http://hadoop.apache.org/docs/r3.1
当使用Ranger作为spark sql的权限管理服务时,访问RangerAdmin需要使用集群中的证书。如果用户未使用集群中的JDK或者JRE,而是使用第三方JDK时,会出现访问RangerAdmin失败,进而spark应用程序启动失败的问题。 在这个场景下,需要进行以下操作,将集群中的证书导入第三方JDK或者JRE中。
1/{project_id}/job-executions/{job_execution_id} 响应示例 无 状态码 状态码 描述 204 删除作业执行对象成功。 错误码 请参见错误码。 父主题: V1.1 作业管理接口(废弃)
告警级别 可自动清除 12039 致命 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机节点信息。 Local GaussDB HA IP 本地GaussDB HA IP地址。 Peer
当使用Ranger作为spark sql的权限管理服务时,访问RangerAdmin需要使用集群中的证书。若用户未使用集群中的JDK或者JRE,而是使用第三方JDK时,会出现访问RangerAdmin失败,进而spark应用程序启动失败的问题。 在这个场景下,需要进行以下操作,将集群中的证书导入第三方JDK或者JRE中。
运行任务的BE节点故障。 RPC拥塞或其他错误。 处理步骤 如果运行任务的BE节点故障,需查看具体的故障原因再进行解决。 如果RPC源端有大量未发送的数据超过了阈值,可设置如下参数: brpc_socket_max_unwritten_bytes:用于设置未发送的数据量的阈值,默
这些函数假定输入字符串包含有效的UTF-8编码的Unicode代码点。不会显式检查UTF-8数据是否有效,对于无效的UTF-8数据,函数可能会返回错误的结果。可以使用from_utf8来更正无效的UTF-8数据。 此外,这些函数对Unicode代码点进行运算,而不是对用户可见的字符(或字形群集
向后兼容的方式演进。此错误通常发生在使用向后不兼容的演进方式删除某些列如“col1”后,更新parquet文件中以旧的schema写入的列“col1”,在这种情况下,parquet尝试在传入记录中查找所有当前字段,当发现“col1”不存在时,发生上述异常。 解决这个问题的办法是使
WebUI页面无法访问 现象描述 Hue服务组件的Hue WebUI页面打不开。 原因分析 端口未对外开放。 浮动IP配置错误。 一次性查询大量的数据,导致查询耗时长,占用了Hue中Hive的链接,导致Hue访问出现异常。 排查思路 在浏览器所在的本地机器,通过命令行执行telnet指令,查看端口是否开放。
向后兼容的方式演进。此错误通常发生在使用向后不兼容的演进方式删除某些列如“col1”后,更新parquet文件中以旧的schema写入的列“col1”,在这种情况下,parquet尝试在传入记录中查找所有当前字段,当发现“col1”不存在时,发生上述异常。 解决这个问题的办法是使
WebUI”,单击任意一个UI链接,打开Storm的WebUI。 选择要查看的拓扑。 选择要查看的spout或者bolt。 选择要查看的节点日志文件,再选择JStack或者Heap按钮,其中JStack对应的是堆栈信息,Heap对应的是堆信息: 方式二:通过修改自定义参数查看进程堆栈
VIEW [IF EXISTS] view_name 描述 用于删除现有的物化视图。若删除的视图不存在,且指定了可选参数if exists,则不会抛出错误信息。 删除物化视图将导致删除与指定视图关联的元数据和表数据。 如果在删除物化视图之前部分数据被删除(元数据或表数据),则删除物化视图将失败。
使用新建用户登录Ranger页面,为什么在修改完密码后登录报401错误? 回答 由于UserSync同步用户数据有时间周期,默认是5分钟,因此在Manager上新创建的用户在用户同步成功前无法登录Ranger,因为Ranger的DB里暂时还没有该用户信息,需要等待同步周期所设置的时间后再尝试登录。 非安全模式下,
使用新建用户登录Ranger页面,为什么在修改完密码后登录报401错误? 回答 由于UserSync同步用户数据有时间周期,默认是5分钟,因此在Manager上新创建的用户在用户同步成功前无法登录Ranger,因为Ranger的DB里暂时还没有该用户信息,需要等待同步周期所设置的时间后再尝试登录。 未开启Kerb
导出命令的超时时间同查询的超时时间,可以通过SET query_timeout=xxx进行设置。 对于结果集为空的查询,依然会产生一个大小为0的文件。 文件切分会保证一行数据完整的存储在单一文件中,因此文件的大小并不严格等max_file_size。 对于部分输出为非可见字符的函数,如BITMAP、HLL类型,输出为\N,即NULL。
4:只显示最后的4个字符,其他用x代替。 Partial mask: show first 4:只显示开始的4个字符,其他用x代替。 Hash:用值的哈希值替换原值,采用的是hive的内置mask_hash函数,只对string、char、varchar类型的字段生效,其他类型的字段会返回NULL值。