检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ntpdate修改时间导致HDFS出现大量丢块 问题背景与现象 用ntpdate修改了集群时间，修改时未停止集群，修改后HDFS进入安全模式，无法启动。 退出安全模式后启动，hfck检查丢了大概1 TB数据。 原因分析 查看NameNode原生页面发现有大量的块丢失。 图1 块丢失
JavaPairDStream：KV DStream的接口，提供reduceByKey和join等操作。 JavaReceiverInputDStream<T>：定义任何从网络接收数据的输入流。 Spark Streaming的常见方法与Spark Core类似，下表罗列了Spark Streaming特有的一些方法。
所有BE节点中最大的compaction score值 (BE)”。 单击“平滑次数”后的编辑按钮，根据实际使用情况，修改平滑次数配置项，单击“确定”。 单击“操作”列的“修改”，根据实际使用情况，更改告警阈值，单击“确定”。 等待两分钟，在告警列表中查看该告警是否清除。 是，处理完毕。 否，执行5。
连接 > FE的MySQL端口连接数 (FE)”。 单击“平滑次数”后的编辑按钮，根据实际使用情况，修改平滑次数配置项，单击“确定”。 单击“操作”列的“修改”，根据实际使用情况，更改告警阈值，单击“确定”。 连接数较多时，请确认连接的必要性，否则会对服务的性能造成影响，甚至可能造成服务不可用。
Hive作为一个基于HDFS和MapReduce架构的数据仓库，其主要能力是通过对HQL（Hive Query Language）编译和解析，生成并执行相应的MapReduce任务或者HDFS操作。 图1 Hive结构 Metastore：对表，列和Partition等的元数据
集群列表参数 参数 参数说明 名称/ID 集群的名称，创建集群时设置。集群的ID是集群的唯一标识，创建集群时系统自动赋值，不需要用户设置。 ：修改集群名称。 ：复制集群ID。 集群版本 集群的版本号。 集群类型 显示创建集群的类型。 节点数 集群部署的节点个数，创建集群时设置。 状态
JavaPairDStream：KV DStream的接口，提供reduceByKey和join等操作。 JavaReceiverInputDStream<T>：定义任何从网络接收数据的输入流。 Spark Streaming的常见方法与Spark Core类似，下表罗列了Spark Streaming特有的一些方法。
JavaPairDStream：KV DStream的接口，提供reduceByKey和join等操作。 JavaReceiverInputDStream<T>：定义任何从网络接收数据的输入流。 Spark Streaming的常见方法与Spark Core类似，下表罗列了Spark Streaming特有的一些方法。
x.x。 Ssh command：提交作业的具体命令。 单击Oozie编辑器右上角的。 保存前如果需要修改作业名称（默认为“My Workflow”），可以直接单击该名称进行修改，例如“Ssh-Workflow”。 保存完成后，单击，提交该作业。 作业提交后，可通过Hue界面查看作业的详细信息、日志、进度等相关内容。
x.x。 Ssh command：提交作业的具体命令。 单击Oozie编辑器右上角的。 保存前如果需要修改作业名称（默认为“My Workflow”），可以直接单击该名称进行修改，例如“Ssh-Workflow”。 保存完成后，单击，提交该作业。 作业提交后，可通过Hue界面查看作业的详细信息、日志、进度等相关内容。
JavaPairDStream：KV DStream的接口，提供reduceByKey和join等操作。 JavaReceiverInputDStream<T>：定义任何从网络接收数据的输入流。 Spark Streaming的常见方法与Spark Core类似，下表罗列了Spark Streaming特有的一些方法。
> BE最大内存与机器剩余内存的关系 (BE)”。 单击“平滑次数”后的编辑按钮，根据实际使用情况，修改平滑次数配置项，单击“确定”。 单击“操作”列的“修改”，根据实际使用情况，更改告警阈值，单击“确定”。 等待两分钟，查看告警是否清除。 是，处理完毕。 否，执行5。 使用omm
Manager应用开发简介 本文档供需要以HTTP基本认证（Basic Authentication）方式访问FusionInsight Manager REST API的用户使用。 REST API REST API是访问Web服务器的一套API，REST API接口的执行方式
ord=true参数启用记录。 前提条件 已创建包含Doris服务的集群，集群内各服务运行正常。 待连接Doris数据库的节点与MRS集群网络互通。 创建具有Doris管理权限的用户。 集群已启用Kerberos认证（安全模式） 在FusionInsight Manager中创建
集群修改域名后Hive样例程序运行报错 问题背景与现象 Hive的二次开发代码样例运行报No rules applied to ****的错误： 原因分析 Hive的二次开发样例代码会加载core-site.xml，此文件默认是通过classload加载，所以使用的时候要把此配置
properties命令，打开log4j.properties文件，修改“flume.root.logger”的取值为“${flume.log.level},console”。 执行./flume-manage.sh start force命令，重启FlumeClient。 修改完成后，请检查docker配置信息是否正确。
remotenn2”不区分主备NameNode。NameNode RPC端口默认为“25000”，不支持通过Manager修改。 MRS 3.x及之后版本，修改参数“dfs.namenode.rpc-address”，在“haclusterX.remotenn1”右侧填写对端集群其
<port>2181</port> </node> </zookeeper> ... 集群配置完成后，具体后续怎么使用可以参考ClickHouse表创建章节描述。 父主题： ClickHouse集群管理
在Spark客户端机器中，通过修改“conf/yarn-site.xml”文件，添加并配置“yarn.resourcemanager.connect.max-wait.ms”和“yarn.resourcemanager.connect.retry-interval.ms”，这样可以更改重试次数，Spark应用可以提早退出。
从零开始使用Loader 用户可以使用Loader将数据从SFTP服务器导入到HDFS。 本章节适用于MRS 3.x之前版本。 前提条件 已准备业务数据。 已创建分析集群。 操作步骤 访问Loader页面。 登录集群详情页面，选择“服务管理”。 选择“Hue”，在“Hue概述”的“Hue
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
