检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive服务和基础服务间的网络通信中断。 处理步骤 检查HiveServer/MetaStore进程状态。 登录MRS集群详情页面,选择“组件管理”。 单击“Hive > 实例”,在Hive实例列表中,查看所有HiveSserver/MetaStore实例状态是否都呈现未知状态。 是,执行1
--command-config config/client.properties --topic <Topic名称> 删除Topic,由管理员用户操作。 bin/kafka-topics.sh --delete --zookeeper <ZooKeeper集群IP:2181/kafka>
--command-config config/client.properties --topic <Topic名称> 删除Topic,由管理员用户操作。 bin/kafka-topics.sh --delete --zookeeper <ZooKeeper集群IP:2181/kafka>
-as-sequencefile 将数据导入到一个sequence文件中。 -as-textfile 将数据导入到一个普通文本文件中,生成该文本文件后,可以在hive中通过sql语句查询出结果。 -boundary-query <statement> 边界查询,在导入前先通过SQL查询得到
rator<T> reduce(ReduceFunction<T> function) 应用一个reduce函数到窗口上,返回reduce后的值。 reduceFunction指的是执行的reduce函数。 WindowFunction的function指的是在经过reduce操作之后再触发一次窗口操作。
rator<T> reduce(ReduceFunction<T> function) 应用一个reduce函数到窗口上,返回reduce后的值。 reduceFunction指的是执行的reduce函数。 WindowFunction的function指的是在经过reduce操作之后再触发一次窗口操作。
rator<T> reduce(ReduceFunction<T> function) 应用一个reduce函数到窗口上,返回reduce后的值。 reduceFunction指的是执行的reduce函数。 WindowFunction的function指的是在经过reduce操作之后再触发一次窗口操作。
装操作可参考集群外节点使用MRS客户端。 登录FusionInsight Manager页面,下载集群客户端软件包至主管理节点并解压,然后以root用户登录主管理节点,进入集群客户端解压路径下,复制“FusionInsight_Cluster_1_Services_ClientC
致使用率超过阈值。 处理步骤 检查堆内存使用率。 登录MRS集群详情页面,选择“告警管理”。 选中“告警ID”为“43006”的告警,查看“定位信息”中的实例的IP地址及角色名。 单击“组件管理 > Spark > 实例 > JobHistory(对应上报告警实例IP地址) > 定制
致使用率超过阈值。 处理步骤 检查堆内存使用率。 登录MRS集群详情页面,选择“告警管理”。 选中“告警ID”为“43010”的告警,查看“定位信息”中的实例的IP地址及角色名。 单击“组件管理 > Spark > 实例 > JDBCServer(对应上报告警实例IP地址) > 定制
配额是用户账号在对应环境配置的可用资源额度,限定配额仅是为了防止资源滥用。 MapReduce服务通常使用的基础资源如下,配额由各个基础服务管理,如需扩大配额,请联系对应服务的技术支持进行扩容: 弹性云服务器 裸金属服务器 虚拟私有云 云硬盘 镜像服务 对象存储服务 弹性公网IP 消息通知服务
用之外添加安全认证代码或使用命令行进行认证。由于提供的示例代码默认提供安全认证代码,请在yarn-cluster模式下时,修改对应安全代码后再运行应用。 如果您使用的是普通模式,准备业务应用代码及其相关配置即可。 调用org.apache.spark.launcher.SparkLauncher
source bigdata_env source Hudi/component_env kinit 创建的用户 新创建的用户需要修改密码,更改密码后重新kinit登录。 普通模式(未开启kerberos认证)无需执行kinit命令。 多服务场景下,在source bigdata_env之后,请先source
tab_a WHERE id IN (SELECT id FROM tab_b WHERE name = 'xx'); 这里说的大表为条件过滤后的总数据量,千万级以上的数据量可定义为大表。 关联查询必须大表join小表 对于ClickHouse来说,原则上需要把多表join模型提前加
单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 无。 父主题: MRS集群告警处理参考
能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 ./encrypt_tool 未加密的密码 得到加密后的密文,作为“authentication.password”的取值。 说明: 非加密密码中含有特殊字符时需要转义。例如,$符号属于特殊字符
oTDB配置“udf_root_dir”来指定UDF加载Jar的根路径。 IoTDBServer所在节点的IP地址可在MRS集群管理控制台的“组件管理”界面,单击“IoTDB”,选择“实例”页签查看。 使用SQL语句注册该UDF,语法如下: CREATE FUNCTION <UDF-NAME>
集群中Supervisor处于异常状态。 处理步骤 检查Supervisor状态。 登录MRS集群详情页面,选择“组件管理”。 选择“Storm > Supervisor”,进入Storm服务管理页面。 查看“角色”中是否存在状态为故障或者是正在恢复 的Supervisor实例。 是,执行1.d。
cd/opt/client sourcebigdata_env 在该目录下用hdfs用户进行命令行认证,用户密码请咨询集群管理员。 kinithdfs kinit一次票据时效24小时。24小时后再次运行样例,需要重新kinit命令。 进入“/opt/client/HDFS/hadoop/hdfs-
</rules> </policy> </policies> 在策略,规则和行为操作中使用的标签中,可以添加其他属性,例如“name”可用于管理用户界面(例如:Hue UI)和工具输入xml之间的映射。 示例: <policy name="Manage_File1"> 标签(Tag)说明如下: