检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
>下载认证凭据”,如图5所示。保存后解压得到用户的user.keytab文件与krb5.conf文件。用于在样例工程中进行安全认证。 图5 下载认证凭据 参考信息 如果修改了组件的配置参数,需重新下载客户端配置文件并更新运行调测环境上的客户端。 父主题: 准备Hive应用开发环境
并在该目录下创建子目录“conf”,将样例代码文件夹impala-examples-normal中的client.properties上传到linux系统上的样例代码文件夹中的/opt/impala_examples/conf文件夹,并在client.properties中填入impalad的ip地址。
log”和“hue-audits.log”大小超过5MB的时候,会自动压缩。最多保留最近的20个压缩文件,压缩文件保留个数和压缩文件阈值可以配置。 表1 Hue日志列表 日志类型 日志文件名 描述 运行日志 access.log 访问日志。 error.log 错误日志。 gsdb_check
ector只允许配置为1。 10 Tolerance 容灾策略。 none表示低容错,即出错后导致Connector任务失败。 all表示高容错,出错后忽略失败的记录并继续运行。 all Start Time(MRS 3.2.0版本) 同步表的起始时间。 2022/03/16 14:14:50
运行HBase应用开发程序产生ServerRpcControllerFactory异常如何处理 检查应用开发工程的配置文件hbase-site.xml中是否包含配置项hbase.rpc.controllerfactory.class。 <name>hbase.rpc.controllerfactory
通过客户端hadoop jar命令提交任务后返回“GC overhead”报错 Yarn汇聚日志过大导致节点磁盘被占满 MapReduce任务异常,临时文件未删除 Yarn客户端的端口信息错误导致提交任务后报错connection refused 通过Yarn WebUI查看作业日志时提示“Could
在Master节点执行如下命令打开gateway.sh文件。 su omm vim /opt/knox/bin/gateway.sh 将“APP_MEM_OPTS=""” 修改为 “APP_MEM_OPTS="-Xms256m -Xmx768m"” 保存并退出文件。 在Master节点执行如下命令重启knox进程。
产生告警的主机名。 对系统的影响 可能引起Manager主备倒换。Manager和组件WebUI认证服务不可用,无法对Web上层服务提供安全认证和用户管理功能,可能引起无法登录Manager和组件的WebUI。 可能原因 Manager中LdapServer进程故障。 处理步骤 检
行过程。 通常情况下,当遇到SQL语句运行失败,首先需要查看HiveServer运行日志。 MetaStore运行日志 通常情况下,当遇到查看HiveServer运行日志时,如遇到MetaException或者连接MetaStore失败,则需要查看MetaStore运行日志。 GC日志查看
服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 如果主Manager进程资源异常,主备倒换无法进行,影响运维基本功能使用。 可能原因 主备Manager节点间链路异常。 节点名配置错误。 防火墙禁用端口。 处理步骤 检查主备Manager服务器间的网络是否正常。
akfa topic中读取,topic之间使用英文分隔符进行分隔。 “映射表类型”选择“Kafka”时存在此参数。 - 文件路径 要传输的HDFS目录或单个文件路径。 “映射表类型”选择“HDFS”时存在此参数。 例如: “/user/sqoop/ ”或“/user/sqoop/example
运行HBase应用开发程序产生ServerRpcControllerFactory异常 BulkLoad和Put应用场景有哪些 install编译构建HBase Jar包失败报错Could not transfer artifact如何处理 父主题: HBase开发指南(安全模式)
解决设置用户密码永久生效后,会产生密码过期告警的问题。 解决Manager的fms进程线程泄露的问题。 解决修改chrony的域名后nodeagent启动失败的问题。 父主题: MRS 3.3.1-LTS.1.1补丁说明
标准权限 表1 文件权限 权限类型 权限名 允许的操作 示例 java.io.FilePermission 文件名:指定文件 -:当前目录和子目录中的所有文件 *:当前目录中的所有文件 read:读 write:写 delete:删除 execute:执行 允许所有文件的读、写、删除、执行:
/hbase/WALs/xxxx.meta”报错。 由于meta表在HDFS故障恢复后的上线过程中无法记录上线状态,导致meta表无法正常上线,且Manager实例健康检查自动恢复重试存在重试次数限制,最终导致meta表上线失败。因此,HDFS退出安全模式后,需要手动介入进行恢复。 处理步骤 确认HDFS已解决相关异常问题,退出安全模式。
题,Kafka集群保留一个用于缩放、并行化和容错性的分区(Partition)。每个分区是一个有序、不可变的消息序列,并不断追加到提交日志文件。分区的消息每个也被赋值一个称为偏移顺序(Offset)的序列化编号。 图1 Kafka结构 约束与限制 创建并购买一个包含Kafka组件的MRS
akfa topic中读取,topic之间使用英文分隔符进行分隔。 “映射表类型”选择“Kafka”时存在此参数。 - 文件路径 要传输的HDFS目录或单个文件路径。 “映射表类型”选择“HDFS”时存在此参数。 例如: “/user/sqoop/ ”或“/user/sqoop/example
t ZooKeeper和客户应用访问第三方ZooKeeper。 以下为“src/main/resources”目录下提供的与认证相关的配置文件。 zoo.cfg # The configuration in jaas.conf used to connect fi zookeeper
Impala更合理地解析执行计划,分配资源。 定时进行小文件合并,减少单表的文件数量,提升元数据加载速率 Impala元数据和分区、文件数量正相关,太多分区会导致Impala元数据占用内存过大,刷新元数据时需要扫描的分区文件就越多,极大地降低查询效率。 建表时存储类型建议选择orc或者parquet
对系统的影响 业务延迟: 主机内存使用率过高时,可能会导致业务进程运行处理缓慢、业务延迟。 业务失败:主机内存使用率过高时,可能会导致业务进程内存溢出,可能会导致作业运行失败。 可能原因 内存配置无法满足业务需求。内存使用率达到上限。 处理步骤 对系统进行扩容。 打开FusionInsight