检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据组件都有自己的WebUI页面管理自身系统,但是由于网络隔离的原因,用户并不能很简便地访问到该页面。 例如访问HDFS的WebUI页面,传统的操作方法是需要用户创建ECS,使用ECS远程登录组件的UI,这使得组件的页面UI访问很是繁琐,对于很多初次接触大数据的用户很不友好。 MRS提供了基于弹性公网IP来便捷访问
修改存储策略,包括HOT、WARM、COLD、ONE_SSD、ALL_SSD。 移动到目录 移动该文件到其他目录。 设置规则需要用户充分考虑合理性,例如多条规则之间是否有冲突,是否会对系统造成破坏等。 一个目录设置多个规则和动作时,规则被先触发的放在规则/动作列表的下面,规则被后触发的放在规则/动作列表的上面,避免动作反复执行。
阈值 > 定位信息”。查看告警上报的实例的IP地址。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Yarn > 实例 > ResourceManager(对应上报告警实例IP地址)”,单击图表区域右上角的下拉菜单,选择“定制 >
例如,上传Yarn客户端的“core-site.xml”文件则执行以下命令: scp Yarn/config/core-site.xml root@客户端节点IP地址:/opt/hadoopclient/conf 参考以上命令依次上传表1中的所有配置文件。 检查客户端节点网络连接。 在安装客户端过程中,
FusionInsight_Cluster_1_Services_ClientConfig scp HBase/config/* root@客户端节点IP地址:/opt/client/conf 检查客户端节点网络连接。 在安装客户端过程中,系统会自动配置客户端节点“hosts”文件,建议检查“/
群信息页面。 在页面右上角单击“运维”,选择“集群节点授权”,选择授权给华为云支持人员访问本机的权限的“截止时间”。在截止时间之前支持人员有临时访问本机的权限。 配置完成后,勾选确认信息,单击“确定”,并进行二次确认。 问题解决后,在页面右上角单击“运维”,选择“取消集群节点授权”为华为云支持人员取消访问权限。
对于Yarn的Shuffle Service,其启动的线程数为机器可用CPU核数的两倍,而默认配置的Direct buffer Memory为128M,因此当有较多shuffle同时连接时,平均分配到各线程所能使用的Direct buffer Memory将较低(例如,当机器的CPU为40核,Yarn的Shuffle
登录HDFS时会使用到如表1所示的配置文件。这些文件均已导入到“hdfs-example”工程的“conf”目录。 表1 配置文件 文件名称 作用 获取地址 core-site.xml 配置HDFS详细参数。 MRS_Services_ClientConfig\HDFS\config\core-site
Manager升级ARM JDK MRS Manager解决Core节点日志撑满系统盘问题 MRS大数据组件 解决Ranger日志不能设置个数,有撑满磁盘风险的问题 MRS 1.9.0.2 修复问题列表: MRS Manager 解决集群中部分Core节点互信丢失问题 解决补丁安装后添加实例失败问题
enix表。 检查磁盘空间,确保没有出现告警且余量满足导入、导出数据的大小。 如果设置的作业需要使用指定YARN队列功能,该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限,并获取该任务对应的连接的使用权限。 操作步骤 设置作业基本信息 登录“Loader
enix表。 检查磁盘空间,确保没有出现告警且余量满足导入、导出数据的大小。 如果设置的作业需要使用指定YARN队列功能,该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限,并获取该任务对应的连接的使用权限。 操作步骤 设置作业基本信息 登录“Loader
选择“集群 > 待操作集群的名称 > 服务 > HDFS > 实例”,获取产生该告警的NameService的主、备NameNode节点的业务IP地址。 单击“NameNode(xx,备)”,单击“实例配置”,获取配置项“dfs.namenode.name.dir”的值,该值即为备NameNode的FsImage存储目录。
krbhost='hadoop.hadoop.com') 需按照实际环境修改以下参数: hiveserverIp:替换为实际需要连接的HiveServer节点IP地址,可登录FusionInsight Manager,选择“集群 > 服务 > Hive > 实例”查看。 hiveserverPort:需
ample”样例工程之后,运行时需修改以下参数: 将代码中HOST = "xxx"的“xxx”修改为Doris的Master FE节点IP地址,Master FE节点可通过在Manager界面,选择“集群 > 服务 > Doris”,查看“Leader所在的主机”获取。 将代码中PORT
ce-2.7.0/sbin/”目录,执行以下命令: ./proceed_ha_ssl_cert.sh DBService安装目录 节点IP地址。 例如: cd $BIGDATA_HOME/FusionInsight_BASE_x.x.x/install/FusionInsight-dbservice-2
登录FusionInsight Manager页面,选择“运维 > 告警 > 告警”,查看当前告警“定位信息”中的角色名以及确认主机名所在的IP地址。 选择“集群 > ClickHouse > 实例”,根据告警信息,选择对应实例,选择“图表 > 并发数”,即可查看实际的SQL并发数是否大于SQL并发阈值。
对于Yarn的Shuffle Service,其启动的线程数为机器可用CPU核数的两倍,而默认配置的Direct buffer Memory为128M,因此当有较多shuffle同时连接时,平均分配到各线程所能使用的Direct buffer Memory将较低(例如,当机器的CPU为40核,Yarn的Shuffle
登录FusionInsight Manager页面,在告警列表中,单击此告警所在行的,查看该告警的主机名称。 使用PuTTY工具,以root用户登录该告警的主机地址。 执行命令su - omm,切换至omm用户。 执行sh ${BIGDATA_HOME}/om-server/om/sbin/status-oms
面向特定租户提供业务服务的专用Region。 可用区(AZ,Availability Zone):一个AZ是一个或多个物理数据中心的集合,有独立的风火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。
Struct Map 下表对所支持的数据类型及其各自的范围进行了详细说明。 表1 CarbonData数据类型 数据类型 范围 Int 4字节有符号整数,从-2,147,483,648到2,147,483,647 说明: 非字典列如果是Int类型,会在内部存储为BigInt类型。 String