检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
sql.orc.impl”:指定使用Hive还是Spark SQL native作为SQL执行引擎来读取ORC数据,默认为hive。 配置参数 登录FusionInsight Manager系统,选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”,单击“全部配置”,搜索以下参数。
重新执行受影响的JDBCServer作业 通过“附加信息”中的用户名和队列名称,选择“集群 > 服务 > Yarn > ResourceManager(主)”,登录Yarn的原生页面。找到对应的Application,并通过Driver日志以及SparkUI确认是否影响作业的正常提交。确认并记录造成影响的作业,以便重新执行。
个人私有化数据,避免慢盘隔离时对业务造成影响; 自动触发慢盘隔离动作后,对于原来写两副本数据存在单副本运行的场景,存在一定风险,请知;同时华为侧运维人员会尽快对慢盘进行替换。 慢盘自动隔离能力支持单节点同时出现多个慢盘【默认配置为4】时自动隔离节点,此时该节点会变成隔离状态,客户
最大带宽,默认值为“100”。 单击“确定”保存。 在恢复任务列表已创建任务的“操作”列,单击“执行”,开始执行恢复任务。 恢复成功后进度显示为绿色。 恢复成功后此恢复任务不支持再次执行。 如果恢复任务在第一次执行时由于某些原因未执行成功,在排除错误原因后单击“重试”,重试恢复任务。
配置输入字段列数,大于原始数据实际包含的字段列数,全部数据成为脏数据。 数据类型转换失败,当前行成为脏数据。 Hive输出 如果指定了一个或多个列为分区列,则在“到”页面上,会显示“分割程序”属性,该属性表示使用多少个处理器去对分区数据进行处理。 如果没有指定任何列为分区列,则表示不需要对输入数据进行分区处理,“分割程序”属性默认隐藏。
storm.example.obs.SimpleOBSTopology obs://my-bucket obs-test 拓扑提交成功后请登录OBS Browser查看。 父主题: Storm应用开发常见问题
用方案: 进入到服务端Spark2x SparkResource的安装目录(集群安装时,SparkResource可能会安装在多个节点上,登录任意一个SparkResource节点,进入到SparkResource的安装目录)。 准备好自己的jar包,例如xx.jar的x86版本
cipal,格式为“zookeeper/hadoop.系统域名”,例如:zookeeper/hadoop.HADOOP.COM。系统域名可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数值获取。; [3] zookeeper
多业务量、高并发的情况可以考虑扩容实例。 观察界面告警是否清除。 是,处理完毕。 否,执行5。 检查告警阈值配置或者平滑次数配置是否合理。 登录FusionInsight Manager,选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > Doris > 队列 > BE的各种定期汇报任务在FE端的队列长度
Manager页面,在告警列表中,单击此告警所在行的,查看附加信息中的描述信息。明确具体发生告警源IP地址及目标IP,并记录两个IP地址。 登录告警上报节点,在告警上报节点上使用ping命令,向目标节点手动发起ping请求,检查两个节点之间的网络状态是否正常。 是,执行6 否,执行3。
单击目标AZ行“操作”列中的“恢复”,待恢复后。等待2分钟,刷新页面查看该AZ健康状态。查看是否健康恢复。 是,处理完毕。 否,执行4。 收集故障信息。 以root用户登录主管理节点,用户密码为安装前用户自定义,请咨询系统管理员。管理节点的主备状态及对应IP地址可在FusionInsight Manager主机管理界面查看。
可能原因 SlapdServer连接数过多。 告警阈值配置或者平滑次数配置不合理。 处理步骤 检查SlapdServer进程连接数是否过多。 登录FusionInsight Manager,选择“集群 > 服务 > LdapServer”进入LdapServer概览页面。 观察Sla
xml”、“hdfs-site.xml”、“hbase-site.xml”和用于安全认证的用户凭证文件放置到“src/main/resources”的目录下。 安全登录 请根据实际情况,修改“userName”为实际用户名,例如“developuser”。 在Windows环境下和Linux环境下请使用对应的路径获取方式。
INFO表示记录系统及各事件正常运行状态信息。 DEBUG DEBUG表示记录系统及系统的调试信息。 如果您需要修改日志级别,请执行如下操作: 登录FusionInsight Manager系统。 选择“集群 > 服务 > JobGateway > 配置”。 单击“全部配置”。 左边菜
没有reduce阶段的insert任务,将会多出reduce阶段,用于收集统计信息。 本章节适用于MRS 3.x及后续版本。 前提条件 已登录Hive客户端,具体操作请参见Hive客户端使用实践。 操作步骤 在Manager界面Hive组件的配置中搜索“hive.cbo.enab
[{"topic":"test_2"},{"topic":"test_3"}], "version":1 } 操作步骤 以客户端安装用户,登录安装Kafka客户端的节点。 切换到Kafka客户端安装目录。 cd /opt/client 执行以下命令,配置环境变量。 source bigdata_env
主集群故障修复后,备集群新增的数据需要通过备份恢复的方式同步到主集群。如果需要自动同步数据,需要切换HBase容灾主备集群。 操作步骤 登录备集群FusionInsight Manager。 下载并安装HBase客户端。 在备集群HBase客户端,以hbase用户执行以下命令指定备集群写数据状态启用。
已安装Ranger服务且服务运行正常。 已创建需要配置权限的用户、用户组或Role。 操作步骤 使用Ranger管理员用户rangeradmin登录Ranger管理页面,具体操作可参考登录Ranger WebUI界面。 在首页中单击“CDL”区域的组件插件名称,例如“CDL”。 单击“Add New Policy”,添加CDL权限控制策略。
解决hive偶现报kryo反序列化失败问题 解决Spark jobhistory内存泄漏问题 解决Spark jobhistory偶现无法显示application列表问题 MRS 1.9.0.3 修复问题列表: MRS Manager MRS Manager升级ARM JDK MRS
配置输入字段列数,大于原始数据实际包含的字段列数,全部数据成为脏数据。 数据类型转换失败,当前行成为脏数据。 Hive输出 如果指定了一个或多个列为分区列,则在“到”页面上,会显示“分割程序”属性,该属性表示使用多少个处理器去对分区数据进行处理。 如果没有指定任何列为分区列,则表示不需要对输入数据进行分区处理,“分割程序”属性默认隐藏。