检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
op-common/FileSystemShell.html 表1 透明加密相关命令 场景 操作 命令 描述 hadoop shell命令管理密钥 创建密钥 hadoop key create<keyname> [-cipher <cipher>] [-size <size>] [-description
告警阈值。 如图1所示: 图1 设置告警阈值 等待5分钟,检查该告警是否恢复。 是,处理完毕。 否,执行4。 检查网络是否异常。 联系网络管理员,检查网络是否存在异常。 是,恢复网络故障,执行5。 否,执行6。 等待5分钟,检查该告警是否恢复。 是,处理完毕。 否,执行6。 收集故障信息。
告警 > 告警”,单击此告警所在行的,获取告警所在主机地址和磁盘分区。 以root用户登录告警所在主机,用户密码为安装前用户自定义,请咨询系统管理员。 执行命令df -i | grep -iE "分区名称|Filesystem",查看磁盘当前Inode使用率。 # df -i | grep
已获取当前的密码策略,请参考配置MRS集群用户密码策略。 如需使用客户端重置密码,需在集群内的任一节点安装了集群客户端。 登录Manager界面修改密码 使用具有用户管理权限的用户(例如admin)登录集群Manager界面。 移动鼠标到界面右上角的用户名。 在弹出菜单中单击“修改密码”。 图1 修改密码
是,执行3。 否,执行8。 确认业务是否在告警时间段内查询了大量的大表数据。 是,执行5。 否,执行8。 选择“租户资源 > 租户资源管理”,在租户列表中单击2的租户名,选择“资源”页签,单击“资源详情”右侧的编辑按钮,查看“开启内存软隔离”按钮是否打开。 是,执行7。 否,执行6。
GMT; HttpOnly Transfer-Encoding: chunked {"boolean":true} 密钥管理系统通过HTTP REST API对外提供密钥管理服务,接口请参考官网: http://hadoop.apache.org/docs/r3.1.1/hadoop-kms/index
MRS可以做什么? 问: MapReduce Service(MRS)可以做什么? 答: MapReduce服务(MapReduce Service)为客户提供ClickHouse、Spark、Flink、Kafka、HBase等Hadoop生态的高性能大数据引擎,支持数据湖、数
无资源可用,整个计算实例响应变慢,造成任务积压。 处理步骤 检查计算实例资源配置是否合理 使用可访问HetuEngine WebUI界面的管理员用户登录FusionInsight Manager。 选择“运维 > 告警 > 告警 > HetuEngine计算实例任务积压”,检查该
置的阈值(默认为75%)。 是,执行7。 否,执行9。 参考5~6请检查其他SlapdServer实例状态是否正常。 是,请联系MRS集群管理员评估是否需要扩容SlapdServer实例,然后执行8。 否,请修复故障的SlapdServer实例,然后执行8。 检查该告警是否恢复。
Kafka”。在“KafkaManager WebUI”右侧,单击URL链接,访问KafkaUI的页面。 单击“Topics”,进入Topic管理页面。 在待操作项的“Operation”列单击“Action > Delete”。 在弹出的确认信息页面中单击“OK”即可完成删除。 系统默认内置的Topic不支持删除操作。
ZKServerPrincipal zookeeper/hadoop.<系统域名> ZooKeeper服务端principal。请联系管理员获取对应账号。 下列代码片段在样例工程中com.huawei.bigdata.spark.examples包的FemaleInfoCollection类的main方法中。
ZKServerPrincipal zookeeper/hadoop.<系统域名> ZooKeeper服务端principal。请联系管理员获取对应账号。 下列代码片段在样例工程中com.huawei.bigdata.spark.examples包的FemaleInfoCollection类的main方法中。
已安装客户端,具体请参考安装客户端。例如安装目录为“/opt/client”,以下操作的客户端目录只是举例,请根据实际安装目录修改。 各组件业务用户由MRS集群管理员根据业务需要创建。安全模式下,“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码。 使用Oozie客户端 以客户端安装用户,登录安装客户端的节点。
相关配置文件。 例如客户端软件包为“FusionInsight_Cluster_1_Services_Client.tar”,下载路径为主管理节点的“/tmp/FusionInsight-Client”: cd /tmp/FusionInsight-Client tar -xvf
一个表可以拥有一个或者多个分区,每个分区以文件夹的形式单独存在表文件夹的目录下。对分区内数据进行查询,可缩小查询范围,加快数据的检索速度和可对数据按照一定的条件进行管理。 分区是在创建表的时候用PARTITIONED BY子句定义的。 CREATE EXTERNAL TABLE IF NOT EXISTS
一个表可以拥有一个或者多个分区,每个分区以文件夹的形式单独存在表文件夹的目录下。对分区内数据进行查询,可缩小查询范围,加快数据的检索速度和可对数据按照一定的条件进行管理。 分区是在创建表的时候用PARTITIONED BY子句定义的。 CREATE EXTERNAL TABLE IF NOT EXISTS
查看定位信息中对应的“路径名”字段值,获取异常的文件路径或者名称。 以root用户登录告警所在节点,用户密码为安装前用户自定义,请咨询系统管理员。 查看日志文件“$BIGDATA_LOG_HOME/nodeagent/scriptlog/checkfileconfig.log”,
后等待5分钟,检查告警是否清除。 是,结束。 否,执行3。 以root用户登录HDFS客户端,用户密码为安装前用户自定义,请咨询MRS集群管理员。执行如下命令: 安全模式: cd 客户端安装目录 source bigdata_env kinit hdfs 普通模式: su - omm
在日志中搜索关键字“slow”,确认发生慢操作的上下游节点信息。 检查当前节点与10中获取的节点之间的网络通信是否通畅。 是,执行13。 否,联系网络管理员修复网络。 等待5分钟,检查该告警是否恢复。 是,操作结束。 否,执行13。 收集故障信息。 在FusionInsight Manager界面,选择“运维
告警”,选中“告警ID”为“19017”的告警,查看“附加信息”中的阈值。 以root用户登录HBase客户端,用户密码为安装前用户自定义,请咨询系统管理员。执行以下命令进入客户端安装目录: cd 客户端安装目录 然后执行以下命令设置环境变量: source bigdata_env 如果集群