检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
前提条件 完成了Loader客户端的安装与配置，具体操作请参见使用客户端运行Loader作业。 操作步骤 使用安装客户端的用户登录客户端所在节点，具体操作请参见使用客户端运行Loader作业。 执行以下命令，进入“backup.properties”文件所在目录。例如，Loader客户端安装目录为
否，执行11。 收集故障信息。 在FusionInsight Manager首页，选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的如下节点信息。 ZooKeeper HDFS 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Hive堆内存使用率过高，会影响Hive任务运行的性能，甚至造成内存溢出导致Hive服务不可用。 可能原因 该节点Hive实例堆内存使用量过大，或分配的堆内存不合理，导致使用率超过阈值。 处理步骤 检查堆内存使用率。 在FusionInsight Manager首页，选择“运维
对系统的影响 ResourceManager进程的垃圾回收时间过长，可能影响该ResourceManager进程正常提供服务。 可能原因 该节点ResourceManager实例堆内存使用率过大，或配置的堆内存不合理，导致进程GC频繁。 处理步骤 检查GC时间。 在FusionInsight
选择主DBServer实例，记录IP地址。 以root用户登录上述IP所在主机，执行ifconfig命令查看DBService的浮动IP在该节点是否存在，用户密码为安装前用户自定义，请咨询系统管理员。 是，执行5。 否，执行9。 执行ping 浮动IP地址命令检查DBService的浮动IP的状态，是否能ping通。
Manager，具体请参见访问集群Manager。在FusionInsight Manager界面选择“集群 > 服务 > HDFS”，单击“NameNode(节点名称，主)”对应的链接，打开HDFS WebUI，然后选择“Utilities > Browse the file system”。 观察
linkResource实例。 重新安装客户端或更新已有客户端配置。 通过Flink客户端对接AOM。 以客户端安装用户，登录安装客户端的节点。 在“/opt/hadoopclient/Flink/flink/conf/flink-conf.yaml”文件中新增表3中的参数并保存。
语句中count distinct出现次数超过2就进行“提示”的规则。 图1 添加Spark SQL防御规则 登录安装有Spark客户端的节点，执行以下命令，切换到客户端安装目录。 cd /opt/hadoopclient 执行以下命令，配置环境变量。 source bigdata_env
secret key</description> </property> obs endpoint为OBS对应的Endpoint，具体请从终端节点及区域获取: https://console.huaweicloud.com/apiexplorer/#/endpoint/OBS 。 配
在“标签”填写“标签键”和“标签值”，用于标识云资源，可对云资源进行分类和搜索。 向主题添加订阅 要接收发布至主题的消息，您必须添加一个订阅终端节点到该主题。消息通知服务会发送一条订阅确认的消息到订阅终端，订阅确认的消息将在48小时内有效。如果订阅者在48小时之内确认订阅，将会收到推送
jar），如果没有请参考Sqoop1.4.7适配MRS 3.x集群章节中的步骤3下载对应mysql包。 sqoop export（HDFS到MySQL） 登录客户端所在节点。 执行如下命令初始化环境变量。 source /opt/client/bigdata_env 使用sqoop命令操作sqoop客户端。 sqoop
Spark Streaming调优 操作场景 Streaming作为一种mini-batch方式的流式处理框架，它主要的特点是秒级时延和高吞吐量。因此Streaming调优的目标是在秒级延迟的情景下，提高Streaming的吞吐能力，在单位时间处理尽可能多的数据。 本章节适用于输入数据源为Kafka的使用场景。
Manager，选择“集群 > 服务 > Flume”，在“实例”下单击“Flume”角色。 图5 单击Flume角色 选择准备上传配置文件的节点行的“Flume”角色，单击“实例配置 ”页面“flume.config.file”参数后的“上传文件”，选择“properties.properties”文件完成操作。
前提条件 完成了Loader客户端的安装与配置，具体操作请参见使用命令行运行Loader作业。 操作步骤 使用安装客户端的用户登录客户端所在节点，具体操作请参见使用命令行运行Loader作业。 执行以下命令，进入“backup.properties”文件所在目录。例如，Loader客户端安装目录为
se_create”和“hive_hbase_submit”，用于创建SparkSQL表和HBase表。 以客户端安装用户登录安装客户端的节点。 执行以下命令，配置环境变量。 source /opt/client/bigdata_env source /opt/client/Spark2x/component_env
<path/for/newData>：指的是新集群保存源数据的路径。例如，/user/hbase/t1。 其中，ActiveNameNodeIP是新集群中主NameNode节点的IP地址。 例如，hadoop distcp /user/hbase/t1 hdfs://192.168.40.2:9820/user/hbase/t1
Hive”，勾选“Hive管理权限”。 用户绑定Hive管理员角色后，在每个维护操作会话中，还需要执行以下操作： 以客户端安装用户，登录安装Spark2x客户端的节点。 执行以下命令配置环境变量。 例如，Spark2x客户端安装目录为“/opt/client”，执行source /opt/client/bigdata_env
se_create”和“hive_hbase_submit”，用于创建SparkSQL表和HBase表。 以客户端安装用户登录安装客户端的节点。 执行以下命令，配置环境变量。 source /opt/client/bigdata_env source /opt/client/Spark2x/component_env
Hive”，勾选“Hive管理员权限”。 说明： 用户绑定Hive管理员角色后，在每个维护操作会话中，还需要执行以下操作： 以客户端安装用户，登录安装Hive客户端的节点。 执行以下命令配置环境变量。 例如，Hive客户端安装目录为“/opt/hiveclient”，执行source /opt/hiveclient/bigdata_env
Name 策略名称，可自定义，不能与本服务内其他策略名称重复。 Policy Conditions IP过滤策略，可自定义，配置当前策略适用的主机节点，可填写一个或多个IP或IP段，并且IP填写支持“*”通配符，例如：192.168.1.10,192.168.1.20或者192.168.1
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
