检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
saveAsTextFile(path: String): Unit 把dataset写到一个text file、HDFS或者HDFS支持的文件系统中,spark把每条记录都转换为一行记录,然后写到file中。 saveAsSequenceFile(path: String, codec:
saveAsTextFile(path: String): Unit 把dataset写到一个text file、HDFS或者HDFS支持的文件系统中,spark把每条记录都转换为一行记录,然后写到file中。 saveAsSequenceFile(path: String, codec:
saveAsTextFile(path: String): Unit 把dataset写到一个text file、HDFS或者HDFS支持的文件系统中,spark把每条记录都转换为一行记录,然后写到file中。 saveAsSequenceFile(path: String, codec:
ms > zookeeper.session.timeout.ms 网络异常。 在hosts文件中没有配置主机名和IP的对应关系,导致使用主机名进行访问时,无法获取信息。 在hosts文件中添加对应的主机名和IP的对应关系。 Linux Windows 父主题: 使用Kafka
properties路径。右键clickhouse-example.properties文件,单击“Copy Path/Reference > Absolute Path”。 事务样例工程无需执行此步骤。 图2 复制配置文件绝对路径 使用clickhouse-example.properties路径替换Demo
式。 按需转包年/包月 弹性云服务器 变更MRS集群的计费模式会同时变更集群所包含的弹性云服务器的计费模式。 云硬盘 变更MRS集群的计费模式会同时变更集群弹性云服务器所挂载云硬盘的计费模式。 按需非共享云硬盘不支持单独变更为包年/包月,需跟随弹性云服务器一起变更为包年/包月,变更后到期时间与云服务器一致。
使用Loader导出MRS集群内数据 使用Loader从HDFS/OBS导出数据到SFTP服务器 使用Loader从HBase导出数据到SFTP服务器 使用Loader从Hive导出数据到SFTP服务器 使用Loader从HDFS/OBS导出数据到关系型数据库 使用Loader从HDFS导出数据到MOTService
内容的丢失。状态信息需要让Active/Standby的ResourceManager都能访问。当前系统提供了三种共享状态信息的方法:通过文件系统共享(FileSystemRMStateStore)、通过LevelDB数据库共享(LeveldbRMStateStore)或通过Zo
升级为紧急,最终导致数据写入失败。 可能原因 HBase配置了容灾并且容灾存在数据同步失败或者同步速度慢; HBase集群存在大量的WAL文件在进行split。 处理步骤 检查znode数量配额和使用量 在FusionInsight Manager首页,选择“运维 > 告警 >
选中该告警,查看“附加信息”中“tabletId”的值。如果异常Tablet较多,附加信息中不能完全显示相关信息,可在Master FE节点的日志文件“${BIGDATA_LOG_HOME}/nodeagent/monitorlog/pluginmonitor.log”中搜索“Abnormal
数据导出 概述 使用Loader导出数据 典型场景:从HDFS/OBS导出数据到SFTP服务器 典型场景:从HBase导出数据到SFTP服务器 典型场景:从Hive导出数据到SFTP服务器 典型场景:从HDFS/OBS导出数据到关系型数据库 典型场景:从HBase导出数据到关系型数据库
提交MapReduce任务时客户端长时间无响应 问题 向YARN服务器提交MapReduce任务后,客户端长时间无响应。 回答 对于上述出现的问题,ResourceManager在其WebUI上提供了MapReduce作业关键步骤的诊断信息,对于一个已经提交到YARN上的MapR
Transition恢复线程 操作场景 在故障环境中,由于诸如region服务器响应慢,网络不稳定,ZooKeeper节点版本不匹配等各种原因,有可能导致region长时间处于transition下。在region transition下,由于一些region不能对外提供服务,客户端操作可能无法正常执行。
主备DBService节点间链路异常。 处理步骤 检查主备DBService服务器间的网络是否正常。 登录MRS集群详情页面,选择“告警管理”。 在告警列表中,单击此告警所在行,在告警详情中,查看该告警的DBService备服务器地址。 登录主DBService服务器。 执行ping 备DBService心跳I
提交MapReduce任务时客户端长时间无响应 问题 向YARN服务器提交MapReduce任务后,客户端长时间无响应。 回答 对于上述出现的问题,ResourceManager在其WebUI上提供了MapReduce作业关键步骤的诊断信息,对于一个已经提交到YARN上的MapR
配置Hadoop数据传输加密 设置安全通道加密 默认情况下,组件间的通道是不加密的。您可以配置如下参数,设置安全通道是加密的。 参数修改入口:在FusionInsight Manager系统中,选择“集群 > 服务 > 服务名 > 配置”,展开“全部配置”页签。在搜索框中输入参数名称。
附录 MRS所使用的弹性云服务器规格 MRS所使用的裸金属服务器规格 状态码 错误码 获取项目ID 获取账号ID 获取MRS集群信息 MRS支持的角色与组件对应表
导致HBase服务的写入请求失败。 可能原因 HBase配置了容灾并且容灾存在数据同步失败或者同步速度慢。 HBase集群存在大量的WAL文件在进行split。 处理步骤 检查znode容量配置和使用量 在FusionInsight Manager首页,选择“运维 > 告警 >
导致HBase服务的写入请求失败。 可能原因 HBase配置了容灾并且容灾存在数据同步失败或者同步速度慢; HBase集群存在大量的WAL文件在进行split。 处理步骤 检查znode数量配置和使用量 在FusionInsight Manager首页,选择“运维 > 告警 >
问题级别升级为紧急,影响数据写入。 可能原因 HBase配置了容灾并且容灾存在数据同步失败或者同步速度慢; HBase集群存在大量的WAL文件在进行split。 处理步骤 检查znode容量配置和使用量 在FusionInsight Manager首页,选择“运维 > 告警 >