检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
“/tmp/hadoop-yarn/staging”。 正常运行的MapReduce任务会在Job结束以后就清理这些临时文件，但是当Job对应的Yarn任务异常退出时，这些临时文件不会被清理，长时间积攒导致该临时目录下的文件数量越来越多，占用存储空间越来越多。 处理步骤 登录集群客户端。
UI界面失败。 处理步骤 登录10.10.169.53客户端机器。 修改“/etc/hosts”文件，将10.120.169.53更改为相对应的192网段的IP地址。 修改再重新运行Spark应用，这时就可以打开Spark Web UI界面。 父主题： 访问MRS组件Web UI界面常见异常问题
成一个jaas文件并设置相关环境变量即可。提供了LoginUtil相关接口来完成这些配置，如下样例代码中只需要配置用户自己申请的账号名称和对应的keytab文件名称即可，由于人机账号的keytab会随用户密码过期而失效，故建议使用机机账号进行配置。 认证样例代码： 设置keytab认证文件模块
Structure”窗口。 选择“SDKs”，单击加号选择“JDK”。 在弹出的“Select Home Directory for JDK”窗口，选择对应的JDK目录，然后单击“OK”。 完成JDK选择后，单击“Apply”。 选择“Project”，在“Project SDK”下的下拉菜单
实例主机名。 在FusionInsight Manager首页，选择“集群 > 服务 > Ranger > 实例”，选择上报告警实例主机名对应的角色，单击图表区域右上角的下拉菜单，选择“定制 > GC > RangerAdmin垃圾回收（GC）时间”，单击“确定”。 图1 RangerAdmin垃圾回收（GC）时间
实例主机名。 在FusionInsight Manager首页，选择“集群 > 服务 > Ranger > 实例”，选择上报告警实例主机名对应的角色，单击图表区域右上角的下拉菜单，选择“定制 > GC > TagSync垃圾回收（GC）时间”，单击“确定”。 图1 TagSync垃圾回收（GC）时间
登录FusionInsight Manager页面，选择“运维 > 告警 > 告警”，单击此告警所在行的，在定位信息中查看发生该告警的主机名称。单击主机名称，查看对应的IP地址。 以omm用户登录告警所在主机IP节点。 执行以下命令，获取到当前配置的omm用户同时打开的线程最大数的配置值，并确认该值是否大于等于60000。
brokerlist格式为brokerIp:9092。 开发思路 接收Kafka中数据，生成相应DStream。 筛选数据信息并分析。 找到对应的HBase表记录。 计算结果，写到HBase表。 父主题： Streaming从Kafka读取数据再写入HBase
节点间网络互通异常”或“节点故障”等告警。 是，节点间网络不互通，请联系运维人员修复。 否，节点间网络互通，检查结束。 检查弹性伸缩是否关闭 登录华为云管理控制台界面，选择对应集群，单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态。 否，请跟业务方确认是否可以关闭，如果可以请关闭弹性伸缩，否则请另择时间进行补丁升级。
使用新的数据节点。 Colocation与数据节点容量 由于使用Colocation进行存储数据的时候，会固定存储在指定的locator所对应的数据节点上面，所以如果不对locator进行规划，会造成数据节点容量不均衡。下面总结了保证数据节点容量均衡的两个主要的使用原则，如表2所示。
使用新的数据节点。 Colocation与数据节点容量 由于使用Colocation进行存储数据的时候，会固定存储在指定的locator所对应的数据节点上面，所以如果不对locator进行规划，会造成数据节点容量不均衡。下面总结了保证数据节点容量均衡的两个主要的使用原则，如表2所示。
用新的数据节点。 Colocation与数据节点容量 由于使用Colocation进行存储数据的时候，会固定存储在指定的locators所对应的数据节点上面，所以如果不对locator进行规划，会造成数据节点容量不均衡。下面总结了保证数据节点容量均衡的两个主要的使用原则，如表2所示。
用新的数据节点。 Colocation与数据节点容量 由于使用Colocation进行存储数据的时候，会固定存储在指定的locators所对应的数据节点上面，所以如果不对locator进行规划，会造成数据节点容量不均衡。下面总结了保证数据节点容量均衡的两个主要的使用原则，如表2所示。
统会自动集群创建一个默认集群标签，并为每个节点创建一个默认节点标签，且默认标签会自动同步到对应的云服务器或云硬盘节点上。 通过MapReduce服务节点管理页面，在节点列表中将鼠标移动到对应节点的标签图标上，可以查看该节点上已存在的标签。 MRS标签更新会同步到集群中的云服务器（
表1 DELETE SEGMENT by DATE参数描述 参数 描述 db_name Database名称，如果未指定，则使用当前database。 table_name 给定database中的表名。 date_value 有效Segment加载启动时间。在这个指定日期前的Segment将被删除。
管理现有集群 > 作业管理 > 使用OBS加密数据运行作业”页面进行相关配置后，再调用API接口运行作业。 所有示例中涉及的OBS路径、样例文件及终端节点和AKSK，请提前准备并在提交请求时根据实际情况替换。 接口约束 无 调用方法 请参见如何调用API。 URI POST /v2/{
ConsumerRecords<Integer, String> records = consumer.poll(waitTime); // 消息处理 for (ConsumerRecord<Integer, String> record : records) {
ink客户端并配置安全认证，本章节以“/opt/hadoopclient”为客户端安装目录为例，介绍安装客户端及配置安全认证。客户端安装目录请根据实际修改。 安装客户端及配置安全认证步骤 安装客户端。 以在集群内节点安装客户端为例： 登录Manager，在“集群”下拉列表中单击需要操作的集群名称，选择“更多
ZooKeeper前需执行如下操作： 修改JDBCExample中“init”方法中的“USER_NAME”参数的值。“USER_NAME”对应的用户用于访问FusionInsight ZooKeeper，需拥有FusionInsight Hive、Hadoop普通用户组权限。 进
Project Structure for New Projects 在弹出的“Select Home Directory for JDK”窗口，选择对应的JDK目录，然后单击“OK”。 图4 Select Home Directory for JDK 完成JDK选择后，单击“OK”完成配置。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
