检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
哪些服务。 MRS Manager查看HBase集群运行状态时,增加集群维度的监控项。 MRS大数据组件 MRS hue支持Yarn任务的管理功能,如停止应用。 MRS解支持HBase压缩队列告警。 MRS 1.7.1.5 修复问题列表: MRS Manager MRS Manager
/conf”。 例如客户端软件包为“FusionInsight_Cluster_1_Services_Client.tar”,下载路径为主管理节点的“/tmp/FusionInsight-Client”: cd /tmp/FusionInsight-Client tar -xvf
打印出SQL语句的逻辑计划和物理计划。 void printSchema() 打印schema信息到控制台。 registerTempTable 将DataFrame注册为一张临时表,其周期和SQLContext绑定在一起。 DataFrame toDF(java.lang.String... colNames)
创建MRS集群时配置弹性伸缩 创建集群时,弹性伸缩功能可以通过在高级配置参数中进行配置。 仅分析集群、流式集群和混合集群支持创建集群时配置弹性伸缩策略。 登录MRS管理控制台。 在购买包含有Task类型节点组件的集群时,参考自定义购买MRS集群配置集群软件配置和硬件配置信息后,在“高级配置”页签的弹性伸缩
nService把产生的日志收集到HDFS上,并从本地文件系统中删除。日志收集到HDFS上以后由HistoryServer来进行统一的日志管理。LogAggregationService在收集日志时会把container产生的本地日志合并成一个日志文件上传到HDFS,在一定程度上
选择对应的数据源用户,在“操作”列中选择“更多 > 下载认证凭据”。 从下载的文件中解压出来的“user.keytab”文件就是用户的凭据文件。 使用HetuEngine管理员用户登录FusionInsight Manager,选择“集群 > 服务 > HetuEngine”,进入HetuEngine服务页面。
} ... 以上安全认证代码中的hdfsDeveloper用户及该用户的user.keytab、krb5.conf为示例,实际操作时请联系管理员获取相应权限的账号以及对应该账号的keytab文件和krb5文件。 用户可登录FusionInsight Manager,单击“系统 >
执行完工作流文件,显示“job id”表示提交成功,例如“job: 0000021-140222101051722-oozie-omm-W”。登录Oozie管理页面,查看运行情况。 使用oozieuser用户,登录Oozie WebUI页面:https://oozie角色的ip地址:21003/oozie
长时间提交作业,manager executor进程会内存溢出 支持提交作业,manager executor可配置并发度功能 MRS manager管理面看不到Kafka新建的topic 安全集群API方式提交Spark Submit作业操作HBase表,HBase表权限控制未生效 MRS
查看该“定位信息”中对应的“主机名”字段值,获取该告警产生的主机名。 以root用户登录告警所在节点,用户密码为安装前用户自定义,请咨询系统管理员。 执行/bin/rpm -qa | grep -w "haveged"命令查看haveged安装情况,观察命令返回结果是否为空。 是,执行6。
Manager页面,在告警列表中,单击此告警所在行的下拉框,查看该告警的主机地址 以root用户登录告警所在主机,用户密码为安装前用户自定义,请咨询系统管理员。 执行命令su - omm,切换到omm用户。 执行命令ulimit -u,获取到当前配置的omm用户同时打开的线程最大数的配置值,查看该值是否大于等于60000。
以root用户登录上述IP所在主机,执行ifconfig命令查看DBService的浮动IP在该节点是否存在,用户密码为安装前用户自定义,请咨询系统管理员。 是,执行5。 否,执行9。 执行ping 浮动IP地址命令检查DBService的浮动IP的状态,是否能ping通。 是,执行6。 否,执行9。
一个表可以拥有一个或者多个分区,每个分区以文件夹的形式单独存在表文件夹的目录下。对分区内数据进行查询,可缩小查询范围,加快数据的检索速度和可对数据按照一定的条件进行管理。 分区是在创建表的时候用PARTITIONED BY子句定义的。 CREATE EXTERNAL TABLE IF NOT EXISTS
Yarn节点配置调优 操作场景 合理配置大数据集群的调度器后,还可通过调节每个节点的可用内存、CPU资源及本地磁盘的配置进行性能调优。 具体包括以下配置项: 可用内存 CPU虚拟核数 物理CPU使用百分比 内存和CPU资源的协调 本地磁盘 操作步骤 如果您需要对参数配置进行调整,具体操作请参考修改集群服务配置参数。
执行完工作流文件,显示“job id”表示提交成功,例如“job: 0000021-140222101051722-oozie-omm-W”。登录Oozie管理页面,查看运行情况。 使用oozieuser用户,登录Oozie WebUI页面:https://oozie角色的ip地址:21003/oozie
长时间提交作业,manager executor进程会内存溢出 支持提交作业,manager executor可配置并发度功能 MRS manager管理面看不到Kafka新建的topic 安全集群API方式提交Spark Submit作业操作HBase表,HBase表权限控制未生效 MRS
com/apiexplorer/#/endpoint/OBS 。 配置文件中包含认证密码信息可能存在安全风险,建议当前场景执行完毕后删除相关配置文件或加强安全管理。 修改HDFS客户端“core-site.xml”文件中的“fs.defaultFS”参数值: 例如:修改前“fs.defaultFS”
需正常。请根据业务实际情况执行以下操作开启Multicast功能: (可选)服务端HMaster默认已开启并配置该特性,当节点上生效网卡除管理IP与业务IP挂载网卡外还存在其余网卡时,还需登录FusionInsight Manager界面,选择“集群 > 服务 > HBase >
--master=local[4] --driver-memory=512M -f /tpch.sql 在执行SQL语句前,请使用MRS集群管理员用户修改内存大小配置。 登录FusionInsight Manager,选择“集群 > 待操作集群的名称 > 服务 > Spark2x >
长时间提交作业,manager executor进程会内存溢出 支持提交作业,manager executor可配置并发度功能 MRS manager管理面看不到Kafka新建的topic 安全集群API方式提交Spark Submit作业操作HBase表,HBase表权限控制未生效 MRS