检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用户可以通过Storm的WebUI,在图形化界面使用Storm。 Storm的WebUI支持查看以下信息: Storm集群汇总信息 Nimbus汇总信息 拓扑汇总信息 Supervisor汇总信息 Nimbus配置信息 前提条件 获取用户“admin”账号密码。“admin”密码在创建集群时由用户指定。 使用其他用户访问Storm
加所有节点的公网IP对应主机域名的组合(注意如果主机名中出现大写字母要改成小写)。 在虚拟私有云管理控制台,申请弹性公网IP(集群有几个节点就买几个),并分别单击MRS集群的节点名称,在节点的“弹性公网IP”页面绑定弹性公网IP。 具体操作请参见“虚拟私有云 > 用户指南 > 弹性公网IP
加所有节点的公网IP对应主机域名的组合(注意如果主机名中出现大写字母要改成小写)。 在虚拟私有云管理控制台,申请弹性公网IP(集群有几个节点就买几个),并分别单击MRS集群的节点名称,在节点的“弹性公网IP”页面绑定弹性公网IP。 具体操作请参见“虚拟私有云 > 用户指南 > 弹性公网IP
解决办法 执行ulimit -a命令查看有问题节点文件句柄数最多设置是多少,如果很小,建议修改成640000。 图1 查看文件句柄数 执行vi /etc/security/limits.d/90-nofile.conf命令编辑文件,修改文件句柄数设置。如果没有这个文件,可以新建一个文件,并按照下图内容修改。
Spark主要使用到如下这几个类: JavaSparkContext:是Spark的对外接口,负责向调用该类的Java应用提供Spark的各种功能,如连接Spark集群,创建RDD,累积量和广播量等。它的作用相当于一个容器。 SparkConf:Spark应用配置类,如设置应用名称,执行模式,executor内存等。
为HBase提供了实时的异地数据容灾功能。它对外提供了基础的运维工具,包含灾备关系维护,重建,数据校验,数据同步进展查看等功能。为了实现数据的实时容灾,可以把本HBase集群中的数据备份到另一个集群。支持HBase表普通写数据与Bulkload批量写数据场景下的容灾。 本章节适用于MRS
三种,要怎么选?有什么区别? 答案 generic-jdbc-connector 使用JDBC方式从Oracle数据库读取数据,适用于支持JDBC的数据库。 在这种方式下,Loader加载数据的性能受限于分区列的数据分布是否均匀。当分区列的数据偏斜(数据集中在一个或者几个值)时,
Storm服务中Nimbus异常。 Storm集群信息较多超过系统默认Thrift传输大小的设置。 原因分析 查看Storm服务状态及监控指标: MRS Manager界面操作:登录MRS Manager,依次选择“服务管理 > Storm”,查看当前Storm状态,发现状态为良好,且监控指标内容显示正确。 FusionInsight
读团体名 - 该参数仅在设置“版本”为V2C时可用,用于设置只读团体名。 写团体名 - 该参数仅在设置“版本”为V2C时可用,用于设置可写团体名。 安全用户名 test 该参数仅在设置“版本”为V3时可用,用于设置协议安全用户名。 认证协议 SHA 该参数仅在设置“版本”为V3时可用,用于设置认证协议,推荐选择SHA。
三种,要怎么选?有什么区别? 答案 generic-jdbc-connector 使用JDBC方式从Oracle数据库读取数据,适用于支持JDBC的数据库。 在这种方式下,Loader加载数据的性能受限于分区列的数据分布是否均匀。当分区列的数据偏斜(数据集中在一个或者几个值)时,
如果用户需要对HBase进行操作,建议将该用户的句柄数设置为“10000”以上。如果用户需要对HDFS进行操作,建议根据业务量大小设置对应的句柄数,建议不要给太小的值。如果用户需要对HBase和HDFS操作,建议设置较大的值,例如“32768”。 使用如下命令查看某一用户的句柄数限制。 su - user_name
创建普通账号委托 登录华为云管理控制台。 在服务列表中选择“管理与监管 > 统一身份认证服务 IAM”。 选择“委托 > 创建委托”。 在创建委托页面配置以下参数,并单击“完成”: 委托名称:设置委托名称,例如:agency-MRS-to-OBS。 委托类型:选择“普通账号”。 委
输入文件数超出设置限制导致任务执行失败 问题背景与现象 Hive执行查询操作时报Job Submission failed with exception 'java.lang.RuntimeException(input file number exceeded the limits
3.x及之后版本) 服务IP 192.168.xxx.xxx 设置对接服务器IP地址。 服务端口 514 设置对接端口。 协议 UDP 设置协议类型,包括: TCP UDP 安全级别 Informational 设置上报消息的严重程度,取值范围: Emergency Alert Critical
Conditions”区域,单击“Select User”下选择框选择用户A,单击“Add Permissions”,勾选“Read”和“Execute”。 单击“Add”。 在策略列表可查看策略的基本信息。等待策略生效后,用户A即可查看用户B创建的表。 父主题: 用户认证及权限类
-l {} \;,查看该节点上超过500MB的文件,查看该磁盘中,是否有误写入的大文件存在。 是,执行11。 否,执行12。 处理该误写入的文件,并等待2分钟,查看告警是否清除。 是,执行完毕。 否,执行12。 联系磁盘管理员,对磁盘进行扩容。 等待2分钟,查看告警是否消失。 是,处理完毕。
如果用户需要对HBase进行操作,建议将该用户的句柄数设置为“10000”以上。如果用户需要对HDFS进行操作,建议根据业务量大小设置对应的句柄数,建议不要给太小的值。如果用户需要对HBase和HDFS操作,建议设置较大的值,例如“32768”。 使用如下命令查看某一用户的句柄数限制。 su - user_name
加所有节点的公网IP对应主机域名的组合(注意如果主机名中出现大写字母要改成小写)。 在虚拟私有云管理控制台,申请弹性公网IP(集群有几个节点就买几个),并分别单击MRS集群的节点名称,在节点的“弹性公网IP”页面绑定弹性公网IP。 具体操作请参见“虚拟私有云 > 用户指南 > 弹性公网IP
Encodings”,在“Global Encoding”和“Project Encodings”区域,设置参数值为“UTF-8”,单击“Apply”后,单击“OK”,如图2所示。 图2 设置IntelliJ IDEA的编码格式 参考配置华为开源镜像仓章节描述,增加开源镜像仓地址等配置信息到本地Maven的“setting
该操作指导用户对ZooKeeper的znode设置权限。 ZooKeeper通过访问控制列表(ACL)来对znode进行访问控制。ZooKeeper客户端为znode指定ACL,ZooKeeper服务器根据ACL列表判定某个请求znode的客户端是否有对应操作的权限。ACL设置涉及如下四个方面。 查看ZooKeeper中znode的ACL。