检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
而“图表”是实时监控,每30秒刷新一次。 “图表”中的“租户CPU占用率平均值”的具体数值表示当前租户查询任务占用所有BE节点CPU资源的时间占比平均值。 由于排队设计不感知FE的个数,所以租户设置的并发数只在FE粒度生效,因此,“图表”中的“租户查询并发数总和”代表租户整体的并发情况。
主机级别关注主机的一系列指标是否正常。 本章节指导用户在日常运维中完成集群健康检查的工作,以保证集群各项参数、配置以及监控没有异常、能够长时间稳定运行。 执行MRS集群健康检查前提条件 如果通过MRS管理控制台操作,需要已完成IAM用户同步(在集群详情页的“概览”页签,单击“IA
--execute --throttle 50000000 --throttle 50000000:限制网络带宽为50MB。带宽可根据数据量大小及客户对均衡时间的要求进行调整,5TB数据量,使用50MB带宽,均衡时长约8小时。 执行以下命令查看迁移状态。 ./kafka-reassign-partitions
service服务处于过载状态,可能无法及时响应Executor的注册请求,从而出现上面的问题。 Executor注册shuffle service的超时时间是5秒,最多重试3次,该参数目前不可配。 建议适当调大task retry次数和Executor失败次数。 在客户端的“spark-defaults
ocator及其对应的DataNode。 查看所有组 hdfs colocationadmin -listGroups 列出所有组及其创建时间。 设置colocation根目录的acl权限 hdfs colocationadmin -setAcl 设置zookeeper中colocation根目录的acl权限。
晨3:00尝试一次,直至MRS集群到期或者续费成功。 开通自动续费后,还可以手动续费该MRS集群。手动续费后,自动续费仍然有效,在新的到期时间前的第7天开始扣款。 自动续费的到期前7日自动扣款属于系统默认配置,您也可以根据需要修改此扣款日,如到期前6日、到期前5日等。 本章节主要
限,不支持数据库的授权。 Hive管理员权限不支持管理HDFS的权限。 如果数据库中的表或者表中的文件数量比较多,在授权时可能需要等待一段时间。例如表的文件数量为1万时,可能需要等待2分钟。 表4 设置角色 任务场景 角色授权操作 设置在默认数据库中,查询其他用户表的权限 在“视
”表示独占服务资源,选择“共享”表示共享服务资源。 描述 配置当前租户的描述信息。 单击“确定”保存,完成租户添加。 保存配置需要等待一段时间,界面右上角弹出提示“租户创建成功。”,租户成功添加。 创建租户时将自动创建租户对应的角色、计算资源和存储资源。 新角色包含计算资源和存储
查看Ranger审计信息 Ranger管理员可通过Ranger界面查看Ranger运行审计日志及组件使用Ranger鉴权后权限管控审计日志信息。 查看Ranger审计信息内容 使用Ranger管理员用户rangeradmin登录Ranger管理页面,具体操作可参考登录Ranger
1356998405000 42 {host=web01, cpu=0} <START-DATE>:要查询指标的起始时间点。 <END-DATE>:要查询指标的结束时间点。 <aggregator>:查询数据的聚合方式。 <metric>:所需查询的指标名称。 <tagk=tagv>:标签的key和value。
JavaStreamingContext:是Spark Streaming功能的主入口,负责提供创建DStreams的方法,入参中需要设置批次的时间间隔。 JavaDStream:是一种代表RDDs连续序列的数据类型,代表连续数据流。 JavaPairDStream:KV DStrea
不涉及 started_time Long 参数解释: 作业开始执行时间。单位:毫秒。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 submitted_time Long 参数解释: 作业提交时间。单位:毫秒。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及
用户登录并提交拓扑。 拓扑提交成功后请自行登录HBase集群查看。 如果使用票据登录,则需要使用命令行定期上传票据,具体周期由票据刷新截止时间而定,步骤如下: 在安装好的storm客户端目录的“Storm/storm-1.2.1/conf/storm.yaml”文件尾部新起一行添加如下内容:
场景单一明确,短时间内可以恢复Broker的情况。 根据问题根因指定恢复方案,恢复故障Broker。 故障Broker恢复后,阻塞的均衡任务会继续执行,可使用--status命令来查看任务的执行进度。 存在由其他原因导致的Broker故障,且问题场景复杂,短时间内无法恢复Broker的情况。
例如HDFS参数“ipc.client.rpc.timeout”影响所有客户端连接HDFS服务端的RPC超时时间,如果用户需要单独修改Hive连接HDFS的超时时间,可以使用自定义配置项功能进行设置。在Hive的“core-site.xml”文件增加此参数可被Hive服务识别并代替HDFS的设置。
太长时被部分截取,出现缺失。 使用generic-jdbc-connector导入数据时,在数据转换步骤中,需要将原数据中时间类型数值对应的字段,设置为时间类型,才能精确到秒并完成导入。数据中包含比秒更精确的部分不会被导入。 导入到Hive分区表内表时,Hive默认不会扫描新导入
项“spark.deploy.zookeeper.url”来代替。 在网络拥塞的情况下,您还可以设置客户端与JDBCServer连接的超时时间,可以避免客户端由于无限等待服务端的返回而挂起。使用方式如下: 在执行“DriverManager.getConnection”方法获取J
项“spark.deploy.zookeeper.url”来代替。 在网络拥塞的情况下,您还可以设置客户端与JDBCServer连接的超时时间,可以避免客户端由于无限等待服务端的返回而挂起。使用方式如下: 在执行“DriverManager.getConnection”方法获取J
用户A如何查看用户B创建的Hive表? MRS 3.x之前版本: 登录MRS Manager,选择“系统设置 > 权限配置 > 角色管理”。 单击“添加角色”,输入“角色名称”和“描述”。 在“权限”的表格中选择“Hive > Hive Read Write Privileges”。
LakeFormation服务概述 该LakeFormation入门教程介绍了如何创建一个LakeFormation实例并与MRS集群对接,实现统一的数据湖元数据及权限管理。 使用流程简介 MRS与LakeFormation对接的使用流程如下图所示: 图1 LakeFormation使用流程