检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MemArtsCC与其他组件的关系 MemArtsCC与OBS的关系 Hadoop-OBS提供一种新的InputStream:OBSMemArtsCCInputStream,该InputStream从部署在计算侧上的MemArts集群读取数据,从而减少OBS服务端压力,提升数据读取性能的目标。 M
节点间网络互通异常”、“节点故障”告警。 是,节点间网络不互通,请联系运维人员修复。 否,节点间网络互通,检查结束。 检查弹性伸缩是否关闭 登录华为云管理控制台,在“现有集群”列表中选择对应集群,单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态。 否,请跟业务方确认是否可以关
下载认证凭据 将下载的认证凭据压缩包解压缩,并将得到的文件复制到客户端节点中,例如客户端节点的“/opt/hadoopclient/Flink/flink/conf”目录下。如果是在集群外节点安装的客户端,需要将得到的文件复制到该节点的“/etc/”目录下。 将客户端安装节点的业务IP
表1 影响实时写数据配置项 配置参数 描述 默认值 hbase.wal.hsync 控制HLog文件在写入到HDFS时的同步程度。如果为“true”,HDFS在把数据写入到硬盘后才返回;如果为“false”,HDFS在把数据写入OS的缓存后就返回。 把该值设置为“false”比“true”在写入性能上会更优。
KryoSerializer依赖Twitter的Chill库来实现,相对于JavaSerializer,主要的问题在于不是所有的Java Serializable对象都能支持,兼容性不好,所以需要手动注册类。 序列化功能用在两个地方:序列化任务和序列化数据。Spark任务序列化只支持JavaSerial
现最终一致性。 目前HBase双读功能仅用于查询。主集群宕机时,最新数据无法同步,备集群可能查询不到最新数据。 HBase的Scan操作可能分解为多次RPC。由于相关session信息在不同集群间不同步,数据不能保证完全一致,因此双读只在第一次RPC时生效,ResultScanner
对应目录及该目录下所有对象的资源路径。 “bucket”选择“通过资源路径指定”,并单击“添加资源路径”在“路径”中输入obs_bucket_name。 其中obs_bucket-name请使用实际的OBS桶名替换。若桶类型为“并行文件系统”需要再添加obs_bucket_nam
在“文件浏览器”界面,勾选一个或多个目录或文件。 单击“操作”,在弹出菜单选择一个操作。 重命名:表示重新命名一个目录或文件。 移动:表示移动文件,在“移至”页面选择新的目录并单击“移动”完成移动。 复制:表示复制选中的文件或目录。 更改权限:表示修改选中目录或文件的访问权限。 可以为属主、属组和其他
选择对应的IP模式,如IPv4或者IPv6。 “目的端主NameNode IP地址”:填写备集群主NameNode业务平面IP地址。 “目的端备NameNode IP地址”:填写备集群备NameNode业务平面IP地址。 “目的端NameNode RPC端口”:填写备集群HDFS基础配置“dfs
单击“Actions”,在弹出菜单选择一个操作。 “Rename”:表示重新命名一个目录或文件。 “Move”:表示移动文件,在“移至”选择新的目录并单击“移动”完成移动。 “Copy”:表示复制选中的文件或目录。 “Change permissions”:表示修改选中目录或文件的访问权限。
回滚补丁 卸载补丁 登录华为云管理控制台界面,在“现有集群”列表中单击需要卸载补丁的集群名称,单击“补丁管理”页签,找到需要卸载的补丁,单击“卸载”,等待补丁卸载成功后,需要按照该章节顺序依次执行相关操作。 当“状态”显示为“卸载失败”时,在“失败任务”中查看错误提示信息,查找相应日志来定位处理。
“最大备份数”:填写备份目录中可保留的备份文件集数量。 “OBS”:表示将备份文件保存在OBS中。 选择此参数值,还需要配置以下参数: “目的端路径”:填写保存备份数据的OBS目录。 “最大备份数”:填写备份目录中可保留的备份文件集数量。 MRS 3.1.0及之后版本才支持备份数据到OBS。 单击“确定”保存。
操作 修改副本数 设置文件副本数。 修改存储策略 修改存储策略,包括HOT、WARM、COLD、ONE_SSD、ALL_SSD。 移动到目录 移动该文件到其他目录。 设置规则需要用户充分考虑合理性,例如多条规则之间是否有冲突,是否会对系统造成破坏等。 一个目录设置多个规则和动作时,
IoTDB查询DEBUG日志。 log-query-frequency.log IoTDB查询频率日志。 log-sync.log IoTDB同步操作日志。 log-slow-sql.log IoTDB慢SQL日志。 server.out IoTDB服务启动异常日志。 postinstall
登录集群主节点并执行以下命令: cd /opt/Bigdata/patches/{MRS补丁版本号}/download/ 将补丁安装包拷贝到客户端机器/opt/目录下: scp patch.tar.gz {客户端机器IP}:/opt/ 例如: scp patch.tar.gz 127
登录集群主节点并执行以下命令: cd /opt/Bigdata/patches/{MRS补丁版本号}/download/ 将补丁安装包拷贝到客户端机器/opt/目录下: scp patch.tar.gz {客户端机器IP}:/opt/ 例如: scp patch.tar.gz 127
由于Kafka不感知磁盘容量,建议各Broker实例配置的磁盘个数和容量保持一致。 更改Broker角色的存储目录,所有Broker实例的存储目录将同步修改。 更改Broker单个实例的存储目录,只对单个实例生效,其他节点Broker实例存储目录不变。 对系统的影响 更改Broker角色的
由于Kafka不感知磁盘容量,建议各Broker实例配置的磁盘个数和容量保持一致。 更改Broker角色的存储目录,所有Broker实例的存储目录将同步修改。 更改Broker单个实例的存储目录,只对单个实例生效,其他节点Broker实例存储目录不变。 对系统的影响 更改Broker角色的
LDAP配置文件中管理员密码使用SHA加密,当升级openldap版本为2.4.39或更高时,主备LDAP节点服务自动采用SASL External机制进行数据同步,避免密码信息被非法获取。 集群中的LDAP服务默认支持SSLv3协议,可安全使用。当升级openldap版本为2.4.39或更高时,LDAP将自动使用TLS
业商机。 MRS提供了各组件的常见业务场景样例程序,开发者用户可基于样例工程进行相关数据应用的开发与编译,样例工程依赖的jar包直接通过华为云开源镜像站下载,其他社区开源jar包可从各Maven公共仓库下载。 开发者能力要求 您已经对大数据领域各组件具备一定的认识。 您已经对弹性