检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
同的“虚拟私有云”和“安全组”。 步骤1：创建MRS集群并配置 已创建DataArts Studio实例，详细操作请参考购买DataArts Studio实例。 记录“虚拟私有云”和“安全组”信息。 已创建CDM集群，详细操作请参考创建CDM集群。 其中“虚拟私有云”和“安全组”需要与已创建的DataArts
服务：选择“Hive”。 根据业务实际需求开启“提示”或“拦截”按钮。 图1 创建Hive SQL防御规则 登录安装有Hive客户端的节点，执行以下命令，切换到客户端安装目录。 cd /opt/client 执行以下命令，配置环境变量。 source bigdata_env
jar），如果没有请参考Sqoop1.4.7适配MRS 3.x集群章节中的步骤3下载对应mysql包。 sqoop export（HDFS到MySQL） 登录客户端所在节点。 执行如下命令初始化环境变量。 source /opt/client/bigdata_env 使用sqoop命令操作sqoop客户端。 sqoop
Manager（MRS 3.x及之后版本）。在FusionInsight Manager界面选择“集群 > 服务 > HDFS”，单击“NameNode(节点名称，主)”对应的链接，打开HDFS WebUI，然后选择“Utilities > Browse the file system”。 观察
否，执行11。 收集故障信息。 在FusionInsight Manager首页，选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的如下节点信息。 ZooKeeper HDFS 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Hive堆内存使用率过高，会影响Hive任务运行的性能，甚至造成内存溢出导致Hive服务不可用。 可能原因 该节点Hive实例堆内存使用量过大，或分配的堆内存不合理，导致使用率超过阈值。 处理步骤 检查堆内存使用率。 在FusionInsight Manager首页，选择“运维
对系统的影响 ResourceManager进程的垃圾回收时间过长，可能影响该ResourceManager进程正常提供服务。 可能原因 该节点ResourceManager实例堆内存使用率过大，或配置的堆内存不合理，导致进程GC频繁。 处理步骤 检查GC时间。 在FusionInsight
选择主DBServer实例，记录IP地址。 以root用户登录上述IP所在主机，执行ifconfig命令查看DBService的浮动IP在该节点是否存在，用户密码为安装前用户自定义，请咨询系统管理员。 是，执行5。 否，执行9。 执行ping 浮动IP地址命令检查DBService的浮动IP的状态，是否能ping通。
eates_user”配置“Create”权限，具体操作可参考添加Hive的Ranger访问权限策略。 以客户端安装用户，登录安装客户端的节点。 执行以下命令，配置环境变量。 source /opt/client/bigdata_env 执行以下命令，认证用户。 kinit hbase_creates_user
Manager，选择“集群 > 服务 > Flume”，在“实例”下单击“Flume”角色。 图5 单击Flume角色 选择准备上传配置文件的节点的“Flume”角色，单击“实例配置 ”页面“flume.config.file”参数后的“上传文件”，选择“properties.properties”文件完成操作。
前提条件 完成了Loader客户端的安装与配置，具体操作请参见使用客户端运行Loader作业。 操作步骤 使用安装客户端的用户登录客户端所在节点，具体操作请参见使用客户端运行Loader作业。 执行以下命令，进入“backup.properties”文件所在目录。例如，Loader客户端安装目录为
deManager已经升级，应用程序仍然可以运行旧版本的Hadoop。 配置描述 进入HDFS客户端。 以客户端安装用户，登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。 cd 客户端安装路径 执行以下命令配置环境变量。 source bigdata_env 如果集群
语句中count distinct出现次数超过2就进行“提示”的规则。 图1 添加Spark SQL防御规则 登录安装有Spark客户端的节点，执行以下命令，切换到客户端安装目录。 cd /opt/hadoopclient 执行以下命令，配置环境变量。 source bigdata_env
secret key</description> </property> obs endpoint为OBS对应的Endpoint，具体请从终端节点及区域获取: https://console.huaweicloud.com/apiexplorer/#/endpoint/OBS 。 配
Manager，具体请参见访问集群Manager。在FusionInsight Manager界面选择“集群 > 服务 > HDFS”，单击“NameNode(节点名称，主)”对应的链接，打开HDFS WebUI，然后选择“Utilities > Browse the file system”。 观察
linkResource实例。 重新安装客户端或更新已有客户端配置。 通过Flink客户端对接AOM。 以客户端安装用户，登录安装客户端的节点。 在“/opt/hadoopclient/Flink/flink/conf/flink-conf.yaml”文件中新增表3中的参数并保存。
Manager，选择“集群 > 服务 > Flume”，在“实例”下单击“Flume”角色。 图5 单击Flume角色 选择准备上传配置文件的节点行的“Flume”角色，单击“实例配置 ”页面“flume.config.file”参数后的“上传文件”，选择“properties.properties”文件完成操作。
前提条件 完成了Loader客户端的安装与配置，具体操作请参见使用命令行运行Loader作业。 操作步骤 使用安装客户端的用户登录客户端所在节点，具体操作请参见使用命令行运行Loader作业。 执行以下命令，进入“backup.properties”文件所在目录。例如，Loader客户端安装目录为
se_create”和“hive_hbase_submit”，用于创建SparkSQL表和HBase表。 以客户端安装用户登录安装客户端的节点。 执行以下命令，配置环境变量。 source /opt/client/bigdata_env source /opt/client/Spark2x/component_env
<path/for/newData>：指的是新集群保存源数据的路径。例如，/user/hbase/t1。 其中，ActiveNameNodeIP是新集群中主NameNode节点的IP地址。 例如，hadoop distcp /user/hbase/t1 hdfs://192.168.40.2:9820/user/hbase/t1
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
