-
设置HBase和HDFS的句柄数限制 - MapReduce服务 MRS
设置HBase和HDFS的句柄数限制 操作场景 当打开一个HDFS文件时,句柄数限制导出,出现如下错误: IOException (Too many open files) 此时可以参考该章节设置HBase和HDFS的句柄数。 设置HBase和HDFS的句柄数限制 联系集群管理员
-
文件最大打开句柄数设置太小导致读写文件异常 - MapReduce服务 MRS
文件最大打开句柄数设置太小导致读写文件异常 问题背景与现象 文件最大打开句柄数设置太小,导致文件句柄不足。写文件到HDFS很慢,或者写文件失败。 原因分析 DataNode日志“/var/log/Bigdata/hdfs/dn/hadoop-omm-datanode-XXX.log”,存在异常提示java
-
调测Kafka应用 - MapReduce服务 MRS
调测Kafka应用 前提条件 客户端本地能登录MRS服务的弹性云服务器,登录方式详见“弹性云服务器《用户指南》”中“入门 > 登录弹性云服务器”的SSH登录方式。 样例工程在已经通过Maven编译。 示例:Maven工程打包到Linux下运行样例 执行mvn package生成j
-
如何重置或修改Manager(admin)密码? - MapReduce服务 MRS
如何重置或修改Manager(admin)密码? 已知旧密码修改admin密码请参考修改admin密码 忘记旧密码重置admin密码请参考修改组件运行用户密码 父主题: 账号密码类
-
解锁LDAP用户和管理账户 - MapReduce服务 MRS
入krbkdc用户密码,显示如下结果,说明解锁成功: Unlock user krbkdc successfully. 父主题: 账户安全设置
-
MRS集群的节点如何安装主机安全服务? - MapReduce服务 MRS
操作系统版本 确认MRS节点的操作系统版本是否在HSS服务的Agent支持的操作系统范围中。 HSS服务的Agent支持的操作系统列表请参见支持的操作系统。 是,执行2,安装主机安全HSS服务的Agent。 否,无法安装主机安全服务。 购买主机安全防护配额,并分别登录MRS集群的各个
-
Flink REST API接口介绍 - MapReduce服务 MRS
Job探察到不可恢复的异常。截取的标识提示是否存在更多异常,但不列出这些异常,否则回复会太大。 /jobs/<jobid>/accumulators 聚合用户累加器加上Job累加器。 /jobs/<jobid>/checkpoints Job的checkpoint的统计信息。 /jobs/<jobid>/metrics
-
Flink REST API接口介绍 - MapReduce服务 MRS
Job探察到不可恢复的异常。截取的标识提示是否存在更多异常,但不列出这些异常,否则回复会太大。 /jobs/<jobid>/accumulators 聚合用户累加器加上Job累加器。 /jobs/<jobid>/checkpoints Job的checkpoint的统计信息。 /jobs/<jobid>/metrics
-
如何解除网络ACL的关联子网 - MapReduce服务 MRS
如何解除网络ACL的关联子网 操作场景 用户可根据自身网络需求,解除网络ACL与子网的关联关系。 操作步骤 登录管理控制台。 在服务列表中单击“网络 > 虚拟私有云”。 在左侧导航栏单击“访问控制 > 网络ACL”。 在右侧在“网络ACL”列表区域,选择网络ACL的名称列,单击您需要修改的网络ACL名称进入详情页面。
-
输入文件数超出设置限制导致任务执行失败 - MapReduce服务 MRS
000个输入文件。在输入的文件数超出此限制时则会发生此错误。 解决办法 进入Hive服务配置页面: MRS 3.x之前版本,单击集群名称,登录集群详情页面,选择“组件管理 > Hive > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。 如果集群详情页面没有“组件管理”
-
设置Spark Core并行度 - MapReduce服务 MRS
行度,充分利用集群机器的计算能力,一般并行度设置为集群CPU总和的2-3倍。 操作步骤 并行度可以通过如下三种方式来设置,用户可以根据实际的内存、CPU、数据以及应用程序逻辑的情况调整并行度参数。 在会产生shuffle的操作函数内设置并行度参数,优先级最高。 testRDD.groupByKey(24)
-
设置HBase和HDFS的句柄数限制 - MapReduce服务 MRS
conf”中配置的值。 如果用户需要对HBase进行操作,建议将该用户的句柄数设置为“10000”以上。如果用户需要对HDFS进行操作,建议根据业务量大小设置对应的句柄数,建议不要给太小的值。如果用户需要对HBase和HDFS操作,建议设置较大的值,例如“32768”。 您可以使用如下命令查看某一用户的句柄数限制。
-
Presto如何配置其他数据源? - MapReduce服务 MRS
Presto如何配置其他数据源? 本指导以mysql为例。 MRS 1.x及MRS 3.x版本。 登录MRS管理控制台。 单击集群名称进入集群详情页面。 选择“组件管理 > Presto”。设置“参数类别”为“全部配置”,进入Presto配置界面修改参数配置。 搜索“connector-customize”配置。
-
Flink REST API接口介绍 - MapReduce服务 MRS
Job探察到不可恢复的异常。截取的标识提示是否存在更多异常,但不列出这些异常,否则回复会太大。 /jobs/<jobid>/accumulators 聚合用户累加器加上Job累加器。 /jobs/<jobid>/checkpoints Job的checkpoint的统计信息。 /jobs/<jobid>/metrics
-
如何采用Java命令提交Spark应用 - MapReduce服务 MRS
if (args.length > 3) { String[] list = new String[args.length - 3]; for (int i = 3; i < args.length; i++) {
-
开源sqoop-shell工具使用示例(SFTP - HDFS) - MapReduce服务 MRS
根据如上信息,可知SFTP连接器类型ID为6。 执行如下命令,创建连接器,根据提示输入具体的连接器信息。 create connection -c 连接器类型ID 例如,连接器类型的ID为6,则执行如下命令: create connection -c 6 sqoop:000> create
-
Flink REST API接口介绍 - MapReduce服务 MRS
Job探察到不可恢复的异常。截取的标识提示是否存在更多异常,但不列出这些异常,否则回复会太大。 /jobs/<jobid>/accumulators 聚合用户累加器加上Job累加器。 /jobs/<jobid>/checkpoints Job的checkpoint的统计信息。 /jobs/<jobid>/metrics
-
如何配置HBase双读能力 - MapReduce服务 MRS
HBase Admin接口、实时写入接口只会访问主集群。所以主集群宕机后,不能提供Admin接口功能和实时写入接口功能,只能提供Get、Scan查询服务。 操作步骤 参考准备连接HBase集群配置文件章节,获取HBase主集群客户端配置文件“core-site.xml”、“hbase-site
-
如何采用Java命令提交Spark应用 - MapReduce服务 MRS
if (args.length > 3) { String[] list = new String[args.length - 3]; for (int i = 3; i < args.length; i++) {
-
修改集群组件鉴权配置开关 - MapReduce服务 MRS
DFS和ZooKeeper鉴权。 对系统的影响 修改开关后服务的配置将过期,需要重启对应的服务使配置生效。 开启HBase鉴权 登录FusionInsight Manager。 选择“集群 > 待操作集群的名称 > 服务 > HBase > 配置”。 单击“全部配置”。 搜索参数“hbase