检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
以Hive客户端安装用户登录安装客户端的节点。 执行以下命令,切换到客户端安装目录,配置环境变量并认证用户。 cd 客户端安装目录 source bigdata_env kinit Hive业务用户(如果集群未开启Kerberos认证,请跳过该操作) 执行以下命令登录Hive客户端。 beeline
Server的session数为C,调整策略为A x B > C ,连接到HiveServer的session数可在Hive的监控界面查看。 查看本告警是否恢复。 是,操作结束。 否,执行2。 收集故障信息。 在MRS Manager界面,单击“系统设置 > 日志导出”。 请联系运维人员,并发送已收集的故障日志信息。
Kafka依赖包路径为“$SPARK_HOME/jars/streamingClient010”。所以在运行应用程序时,需要在spark-submit命令中添加配置项,指定Spark Streaming Kafka的依赖包路径,如--jars $(files=($SPARK_HOME/jar
以客户端安装用户,登录安装Hive客户端的节点。 执行以下命令配置环境变量。 例如,Spark2x客户端安装目录为“/opt/client”,执行source /opt/client/bigdata_env 执行以下命令认证用户。 kinit Spark2x业务用户 执行以下命令登录客户端工具。 spark-beeline
以客户端安装用户,登录安装Hive客户端的节点。 执行以下命令配置环境变量。 例如,Spark2x客户端安装目录为“/opt/client”,执行source /opt/client/bigdata_env 执行以下命令认证用户。 kinit Spark2x业务用户 执行以下命令登录客户端工具。 spark-beeline
置该参数。可以授权集群Manager上集群、服务、实例、主机、命令等各项操作权限。 配置完成后,勾选确认信息,并单击“确定”,并进行二次确认。 可以在页面右上角单击“运维”,选择“集群界面授权 > 查看授权信息”查看授权详细信息。 问题解决后,在页面右上角单击“运维”,选择“集群界面授权
操作步骤 登录备集群FusionInsight Manager。 下载并安装HBase客户端。 在备集群HBase客户端,以hbase用户执行以下命令指定备集群写数据状态启用。 kinit hbase hbase shell set_clusterState_active 界面提示以下信息表示执行成功:
(比如报错不符合预期、结果与预期不一致等)。 Spark2x实现了命令的本地化,使用Spark SQL Native DDL/DML取代Hive执行DDL/DML命令。一方面实现和Hive的解耦,另一方面可以对命令进行定制化。 DataSet DataSet是一个由特定域的对象组
业务进程响应缓慢或不可用。 可能原因 租户查询数据过大,且未开启内存软隔离。 处理步骤 查看租户BE实际内存使用大小。 登录FusionInsight Manager,选择“运维 > 告警 > 告警”,选中“告警ID”为“50228”的告警,查看“定位信息”中的角色名并确定实例的IP地址。
hivetable2 compute statistics语句相同,具体命令如下: spark-sql> analyze table hivetable2 compute statistics noscan 该命令不用启动MapReduce任务,不会占用YARN资源,从而任务可以被执行。
执行id ${用户名}命令,显示用户组信息,确认是否有“ficommon”组权限。 如果存在“ficommon”组权限,请执行3。如果不存在,请联系技术服务。 用户名为出现HDFS权限设置问题的用户。 执行gpasswd -d ${用户名} ficommon命令,删除该用户的“ficommon”组权限。
编译并生成Jar包,并将Jar包复制到与依赖库文件夹同级的目录“src/main/resources”下,具体步骤请参考在Linux调测程序。 运行Consumer样例工程的命令如下。 java -cp /opt/client/lib/*:/opt/client/src/main/resources com.huawei
以客户端安装用户登录HetuEngine服务客户端所在节点,执行以下命令: source 客户端安装目录/bigdata_env 根据集群认证模式,完成HetuEngine客户端登录。 集群已启用Kerberos认证(安全模式):执行以下命令,完成用户认证并登录HetuEngine客户端。 kinit
WebUI使用文件浏览器 操作场景 用户需要使用图形化界面管理HDFS文件时,可以通过Hue完成任务。 Hue界面主要用于文件、表等数据的查看与分析,禁止通过Hue界面对操作对象进行删除等高危管理操作。如需操作,建议在确认对业务没有影响后通过各组件的相应操作方法进行处理,例如使用
选中“告警ID”为“44006”的告警,查看“定位信息”中的角色名并确定实例的IP地址。 单击“组件管理 > Presto > 实例 > Worker(对应上报告警实例IP地址) > 定制 > Presto进程GC时间”。单击“确定”,查看GC时间。 查看Worker进程的GC时间是否大于5秒。
> 告警 > 阈值设置 > meta > OBS操作被流控总数”,将阈值或平滑次数参数的值根据实际情况调大。 观察界面告警是否清除。 是,处理完毕。 否,执行3。 联系OBS运维人员查看OBS服务是否正常。 是,执行4。 否,联系OBS服务运维人员修复OBS服务。 收集故障信息。 登录FusionInsight
【HDFS WebUI】使用IE浏览器访问HDFS WebUI界面失败 用户问题 通过IE浏览器访问HDFS的WebUI界面,偶尔出现访问失败情况。 问题现象 访问页面失败,浏览器无法显示此页,如下图所示: 原因分析 部分低版本IE浏览器处理SSL握手有问题导致访问失败。 处理步骤 重新刷新页面或者推荐使用Google
开发MapReduce应用 编译并运行程序 指导用户将开发好的程序编译并提交运行。 调测MapReduce应用 查看程序运行结果 程序运行结果会写在用户指定的路径下。用户还可以通过UI查看应用运行情况。 调测MapReduce应用 父主题: MapReduce开发指南(安全模式)
值,默认值为“Admin@123”。 user_name为可选参数,默认取值为“admin”。 命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 例如: sh ${BIGDATA_HOME}/om-server/om/sbin/get_reset_pwd
告警”页面,找到“ALM-29107 Tserver进程内存使用百分比超过阈值”告警,查看告警来源。 在“运维 > 告警 > 阈值设置 > Kudu”,找到该告警的阈值,再对比集群KuduTserver实例的内存使用百分比监控项,和阈值对比,查看阈值超过情况,找到内存使用百分比超阈值的节点。 通过增加节点、重新