检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
insert into print select * from datagen; 查看并修改CompiledPlan文件中算子并行度。 登录FusionInsight Manager,选择“集群 > 服务 > HDFS”,单击“NameNode Web UI”后的链接,选择“Utilities
try { // 获取JDBC连接 // 第二个参数需要填写正确的用户名,否则会以匿名用户(anonymous)登录 connection = DriverManager.getConnection(url, "userName", "");
try { // 获取JDBC连接 // 第二个参数需要填写正确的用户名,否则会以匿名用户(anonymous)登录 connection = DriverManager.getConnection(url, "userName", "");
期内CPU使用率达到上限。 处理步骤 检查告警阈值配置或者平滑次数配置是否合理。 基于实际CPU使用情况,修改告警阈值和平滑次数配置项。 登录FusionInsight Manager,选择“运维 > 告警 > 阈值设置 > OMS > OMS服务 > CPU > 进程CPU使用大小”。
ZooKeeper与HDFS的关系如图3所示。 图3 ZooKeeper和HDFS的关系 ZKFC(ZKFailoverController)作为一个ZooKeeper集群的客户端,用来监控NameNode的状态信息。ZKFC进程仅在部署了NameNode的节点中存在。HDFS NameNode的Active和Standby节点均部署有zkfc进程。
立的数据块,由map任务(task)以完全并行的方式来处理。框架会对map的输出先进行排序,然后把结果输入给reduce任务,最后返回给客户端。通常作业的输入和输出都会被存储在文件系统中。整个框架负责任务的调度和监控,以及重新执行已经失败的任务。 MapReduce主要特点如下:
ataNode存储数据量较小且健康状态良好的节点。 Core节点在缩容的时候,会对原节点上的数据进行迁移。业务上如果对数据位置做了缓存,客户端自动刷新位置信息可能会影响时延。缩容节点可能会影响部分HBase on HDFS数据的第一次访问响应时长,可以重启HBase或者对相关的表Disable/Enable来避免。
urity-examples”文件夹中的Scala、Spark Streaming等多个样例工程。 安装IntelliJ IDEA和JDK工具后,需要在IntelliJ IDEA中配置JDK。 打开IntelliJ IDEA,选择“Configure”。 图2 Quick Start
查看Kafka服务状态: MRS Manager界面操作:登录MRS Manager,依次选择“服务管理 > Kafka”,查看当前Kafka状态,发现状态为良好,且监控指标内容显示正确。 FusionInsight Manager界面操作:登录FusionInsight Manager,选择“集群
ormal-examples”文件夹中的Scala、Spark Streaming等多个样例工程。 安装IntelliJ IDEA和JDK工具后,需要在IntelliJ IDEA中配置JDK。 打开IntelliJ IDEA,选择“Configure”。 图2 Quick Start
限将自动关联该数据库目录的HDFS权限。为了避免产生性能问题,取消表的任意权限,系统不会自动取消数据库目录的HDFS权限,但对应的用户只能登录数据库和查看表名。 如果为角色添加或删除数据库的查询权限,数据库中的表也将自动添加或删除查询权限。此机制为Hive实现,SparkSQL与Hive保持一致。
如果当前组件使用了Ranger进行权限控制,须基于Ranger配置HDFS相关策略进行权限管理,具体操作可参考添加HDFS的Ranger访问权限策略。 添加HDFS角色 登录FusionInsight Manager,选择“系统 > 权限 > 角色”。 单击“添加角色”,然后在“角色名称”和“描述”中输入角色名字与描述。
try { // 获取JDBC连接 // 第二个参数需要填写正确的用户名,否则会以匿名用户(anonymous)登录 connection = DriverManager.getConnection(url, "userName", "");
整个计算实例响应变慢,造成任务积压。 处理步骤 检查计算实例资源配置是否合理 使用可访问HetuEngine WebUI界面的管理员用户登录FusionInsight Manager。 选择“运维 > 告警 > 告警 > HetuEngine计算实例任务积压”,检查该告警的“附加信息”,查看并记录告警上报的租户名。
整个计算实例响应变慢,造成任务积压。 处理步骤 检查计算实例资源配置是否合理 使用可访问HetuEngine WebUI界面的管理员用户登录FusionInsight Manager。 选择“运维 > 告警 > 告警 > HetuEngine计算实例任务积压”,检查该告警的“附加信息”,查看并记录告警上报的租户名。
整个计算实例响应变慢,造成任务积压。 处理步骤 检查计算实例资源配置是否合理 使用可访问HetuEngine WebUI界面的管理员用户登录FusionInsight Manager。 选择“运维 > 告警 > 告警 > HetuEngine计算实例查询时延超过阈值”,检查该告
期内CPU使用率达到上限。 处理步骤 检查告警阈值配置或者平滑次数配置是否合理。 基于实际CPU使用情况,修改告警阈值和平滑次数配置项。 登录FusionInsight Manager,根据实际服务的使用情况在“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机 > CPU
主机状态 > 主机单核CPU平均负载”,查看主机单核CPU平均负载值是否大于3。 是,表示系统负载过高,执行3。 否,执行8。 以omm用户登录产生告警的主机节点。 执行top命令查看“%Cpu(s)”的us值是否大于80。 是:表示用户进程占用CPU过高,记录CPU占用高的进程PID,执行5。
O读取等待时长达到上限。 处理步骤 检查告警阈值配置或者平滑次数配置是否合理。 根据实际磁盘IO使用情况,修改告警阈值和平滑次数配置项。 登录FusionInsight Manager,选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机 > 磁盘 > 每个读操作平均所需时间”。
splitLog(MasterFileSystem.java:375) 因此,不支持用户对HDFS上的HBase目录进行quota值设置。上述问题可通过下述步骤解决: 在客户端命令提示符下运行kinit 用户名命令,使HBase用户获得安全认证。 运行hdfs dfs -count -q/hbase/data/<