检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
系统域名”,例如:zookeeper/hadoop.HADOOP.COM。系统域名可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数值获取。 zookeeper.sasl.client:如果集群是安全模式,该值设置为“tr
Oozie定时任务没有准时运行如何处理 问题 在Hue或者Oozie客户端设置执行Coordinator定时任务,但没有准时执行。 回答 需要使用UTC时间,例如在“job.properties”中配置“start=2016-12-20T09:00Z”。 父主题: Oozie常见问题
MRS集群如何解绑已绑定至Manager的EIP? 问: MRS集群如何解绑已绑定至Manager的EIP? 答: 在为集群Manager绑定了EIP后,通常不建议用户进行解绑,以免影响其他用户正常访问集群的Manager管理界面。 在MRS管理控制台为MRS的Manager界面
'properties.kerberos.domain.name' = 'hadoop.系统域名' ); SELECT * FROM KafkaSource; 不能同时设置“topic-pattern”和“topic”配置项 topic-pattern:主题模式,用于so
test:为准备集群认证用户信息创建的用户名称,例如developuser。 系统域名:登录FusionInsight Manager后,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。 父主题: 准备MapReduce应用开发环境
和授权tokens,避免认证过期。示例如下: spark-shell --principal spark2x/hadoop.<系统域名>@<系统域名> --keytab ${BIGDATA_HOME}/FusionInsight_Spark2x_8.1.0.1/install/F
机架之前,需要进行全局的统筹,合理地设置机架。 机架分配策略 物理机架:主机所在的真实的机架。 逻辑机架:在FusionInsight Manager中给主机设置的机架名称。 策略 1:每个逻辑机架包含的主机个数基本一致。 策略 2:主机所设置的逻辑机架要尽量符合其所在的物理机架。
如何查看MRS Hive元数据? Hive的元数据存放在MRS服务集群的GaussDB中,可执行如下步骤查看: 以root用户登录到DBServer主节点。 执行以下命令登录Hive元数据库: su - omm source $DBSERVER_HOME/.dbservice_profile
如何采用Java命令提交Spark应用 问题 除了spark-submit命令提交应用外,如何采用Java命令提交Spark应用? 回答 您可以通过org.apache.spark.launcher.SparkLauncher类采用java命令方式提交Spark应用。详细步骤如下:
权功能。 在“客户端安装路径/ZooKeeper/zookeeper/conf/jaas.conf”配置文件中设置属性“useTicketCache=false”,设置“useKeyTab=true”,并指明keytab路径。 父主题: ZooKeeper常见问题
未安装HBase时Hive on Spark任务卡顿如何处理 操作场景 此功能适用于Hive组件。 按如下操作步骤设置参数后,在未安装HBase的环境执行Hive on Spark任务时,可避免任务卡顿。 Hive on Spark任务的Spark内核版本已经升级到Spark2x
未安装HBase时Hive on Spark任务卡顿如何处理 操作场景 此功能适用于Hive组件。 按如下操作步骤设置参数后,在未安装HBase的环境执行Hive on Spark任务时,可避免任务卡顿。 Hive on Spark任务的Spark内核版本已经升级到Spark2x
MRS 1.9.3 Ranger证书如何更新? 本指导以MRS 1.9.3版本为例,其他版本请替换成具体集群版本号。参考本指导完成证书更新后,请手动清除证书文件失效或证书文件即将过期告警。 Ranger证书更新后,证书有效期为10年。 Ranger证书过期后,Ranger WEB
如何采用Java命令提交Spark应用 问题 除了spark-submit命令提交应用外,如何采用Java命令提交Spark应用? 回答 您可以通过org.apache.spark.launcher.SparkLauncher类采用java命令方式提交Spark应用。详细步骤如下:
此开关对于Join场景有较大的性能优化,但是会带来OBS调用量的增加。 处理步骤 在SparkSQL中设置以下参数后再运行: set spark.sql.statistics.fallBackToHdfs=false; 或者在启动之前使用--conf设置这个值为false: --conf spark.sql.statistics
MRS如何连接spark-shell? 用root用户登录集群Master节点。 配置环境变量。 source 客户端安装目录/bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户。如果当前集群未启用Kerberos认证,则无需执行此命令。 kinit
MRS集群版本如何进行升级? MRS普通版本集群 MRS普通版本集群无法实现低版本到高版本的平滑升级。如需体验新版本集群相关能力,建议重新创建一个新版本的集群,然后将老版本集群的数据迁移到新的集群。 MRS LTS版本集群 MRS LTS版集群支持版本升级能力,可从历史版本升级至
如何切换访问MRS Manager方式? 问: MRS 3.x版本集群,用户通过专线访问MRS Manager后,如何切换到通过EIP访问? 回: 在集群“概览”页面,单击“前往Manager”后的,即可切换访问方式。 父主题: Web页面访问类
如何处理集群内部OBS证书过期 用户问题 用户在MRS集群中访问OBS服务过程中出现证书过期问题。 问题现象 MRS集群产生“ALM-12054 证书文件失效”或“ALM-12055 证书文件即将过期”告警,且告警详情中触发告警的证书为OBS证书。 图1 OBS证书即将过期告警 图2
怎么通过客户端设置Map/Reduce内存? 问题现象 客户端怎么设置Map/Reduce内存? 处理步骤 Hive在执行SQL语句前,可以通过set命令来设置Map/Reduce相关客户端参数。 以下为与Map/Reduce内存相关的参数: set mapreduce.map.memory