检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何查看指定Yarn任务的日志？ 以root用户登录主Master节点。 执行如下命令初始化环境变量。 source 客户端安装目录/bigdata_env 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户。如果当前集群未启用Kerberos认证，则无需执行此命令。
如何解除网络ACL的关联子网 操作场景 用户可根据自身网络需求，解除网络ACL与子网的关联关系。 操作步骤 登录管理控制台。 在服务列表中单击“网络 > 虚拟私有云”。 在左侧导航栏单击“访问控制 > 网络ACL”。 在右侧在“网络ACL”列表区域，选择网络ACL的名称列，单击您需要修改的网络ACL名称进入详情页面。
如何查看MRS作业的日志？ MRS Console页面作业管理，每一条作业支持查看日志，包含launcherJob日志和realJob日志。 launcherJob作业的日志，一般会在stderr和stdout中打印错误日志，如下图所示： realJob的日志，可以通过MRS M
Administrator”权限，且需要在相应组件进行如下配置。 如果集群同时开启“OBS权限控制”功能，此时会使用ECS配置的默认委托“MRS_ECS_DEFAULT_AGENCY”或者用户设置的自定义委托的AK/SK访问OBS服务，同时OBS服务会使用接收到的AK/SK访问数据加密服务获取K
如何修改现有集群的HDFS fs.defaultFS？ 问： 如何修改现有集群的HDFS NameSpace（fs.defaultFS）？ 答： 当前不建议在服务端修改或者新增集群内HDFS NameSpace（fs.defaultFS），如果只是为了客户端更好的识别，则一般可以通过修改客户端内“core-site
如何避免Kerberos认证过期？ 对于JAVA应用 在连接HBase、HDFS或者其他大数据组件前，先调用loginUserFromKeytab()创建UGI，然后启动一个定时线程进行检查是否过期并在过期前重新登录。 private static void startCheck
如何提高Presto资源使用率？ 问题现象 节点资源利用不均衡，执行Presto任务几小时后仍未完成。 解决步骤 调小Yarn节点内存比例： 登录Manager页面，选择“集群 > 服务 > Presto > 实例”，查看并记录所有Presto实例所在节点主机名称。 选择“集群 >
MRS集群如何解绑已绑定至Manager的EIP？ 问： MRS集群如何解绑已绑定至Manager的EIP？ 答： 在为集群Manager绑定了EIP后，通常不建议用户进行解绑，以免影响其他用户正常访问集群的Manager管理界面。 在MRS管理控制台为MRS的Manager界面
ALM-13005 ZooKeeper中组件顶层目录的配额设置失败 告警解释 系统每5小时周期性为组件和“customized.quota”配置项中的每个ZooKeeper顶层目录设置配额，当设置某个目录的配额失败时，会产生该告警。 当设置失败的目录重新设置配额成功时，告警恢复。 告警属性 告警ID
MRS集群用户绑定多个队列时系统如何选择队列？ 问： MRS集群内属于同一个用户组，并且权限也相同的两个用户A和B，同时绑定了queueA以及queueB两个队列。 为什么用户A的任务一直提交到queueA队列，用户B的任务却一直提交到queueB队列？ 答： MRS集群内用户绑
如何给集群内用户添加租户管理权限？ 分析集群和混合集群支持添加租户管理权限，流式集群不支持添加租户管理权限。给新建账号添加租户管理权限方法如下： MRS 3.x之前版本： 登录MRS Manager。 在“系统设置 > 用户管理”中选择新建的用户，单击“操作”列中的“修改”。 在
MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业（application/job）通常会把输
MRS集群内节点的登录方式如何切换？ 问： MRS集群内节点的登录方式（密码或密钥对）如何切换？ 答： 不可以切换。创建集群时选择了节点登录方式后不能更改登录方式。 父主题： 集群管理类
从SFTP服务器导入数据到HDFS/OBS。 从SFTP服务器导入数据到HBase。 从SFTP服务器导入数据到Phoenix表。 从SFTP服务器导入数据到Hive表。 从FTP服务器导入数据到HDFS/OBS。 从FTP服务器导入数据到HBase。 从FTP服务器导入数据到Phoenix表。
如何使用自定义安全组创建MRS集群？ 问： 如何使用自定义安全组创建MRS集群？ 答： 使用自定义安全组创建MRS集群有以下两种方式： 用户购买集群时，选择使用自己创建的安全组时，需要放开9022端口。 用户购买集群时，安全组选择“自动创建”。 父主题： 集群创建类
如何采用Java命令提交Spark应用 问题 除了spark-submit命令提交应用外，如何采用Java命令提交Spark应用？ 回答 您可以通过org.apache.spark.launcher.SparkLauncher类采用java命令方式提交Spark应用。详细步骤如下：
如何取消MRS集群风险告警的消息通知？ 登录MRS服务控制台。 单击集群名称进入集群详情页面。 选择“告警管理 > 消息订阅规则”。 在待修改的规则所在行的“操作”列单击“编辑”，在“订阅规则”中取消对应风险告警。 单击“确定”完成修改。 父主题： 集群管理类
如何关闭MRS集群内节点的防火墙服务？ 问： 如何关闭MRS集群内节点的防火墙服务？ 答： 以root用户登录集群的各个节点。 检查防火墙服务是否启动。 例如，EulerOS环境下执行systemctl status firewalld.service命令。 关闭防火墙服务。 例
如何配置Flume定制脚本 Flume支持定制脚本，支持在传输前或者传输后执行指定的脚本，用于执行准备工作。 本章节适用于MRS 3.x及之后版本。 未安装Flume客户端 获取软件包。 登录FusionInsight Manager，选择“集群 > 待操作集群的名称 > 服务 >
在Hive中drop表后如何完全释放磁盘空间 用户问题 在Hive命令行执行drop表的操作后，通过命令hdfs dfsadmin -report查看磁盘空间，发现表没有删除。 原因分析 在Hive命令行执行drop表只删除了外部表的表结构，并没有删除该表存储在HDFS上的表数据。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
