检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
提交Hive任务时如何指定队列? 问题现象 怎样在Hive提交任务的时候指定队列? 处理步骤 在执行语句前通过如下参数设置任务队列,例如,提交任务至队列QueueA。 set mapred.job.queue.name=QueueA; select count(*) from rc;
如何查看MRS Hive元数据? Hive的元数据存放在MRS服务集群的GaussDB中,可执行如下步骤查看: 以root用户登录到DBServer主节点。 执行以下命令登录Hive元数据库: su - omm source $DBSERVER_HOME/.dbservice_profile
如何针对Topic进行配置增加和删除 问题背景与现象 使用Kafka过程中常常需要对特定Topic进行配置或者修改。 Topic级别可以修改参数列表: cleanup.policy compression.type delete.retention.ms file.delete.delay
如何准备MRS的数据源? MRS既可以处理OBS中的数据,也可以处理HDFS中的数据。在使用MRS分析数据前,需要先准备数据。 将本地数据上传OBS。 登录OBS管理控制台。 在OBS上创建userdata并行文件系统,然后在userdata文件系统下创建program、input、output和log文件夹。
如何修改DBService的IP地址? 问: 如何修改DBService的浮动IP地址? 答: MRS集群内不支持修改DBService的IP地址。 父主题: 组件配置类
如何修改HDFS主备倒换类? 当MRS 3.x版本集群使用HDFS连接NameNode时,报“org.apache.hadoop.hdfs.server.namenode.ha.AdaptiveFailoverProxyProvider”类无法找到时,是由于MRS 3.x版本集群
如何查看MRS集群配置信息? 集群创建完成后在MRS控制台单击集群名称进入集群基本信息页面,可以查看到集群的基本配置信息,包括集群的名称、ID、付费类型、工作地域、创建时间、Hadoop组件版本及节点的实例规格、容量。 节点的实例规格和容量决定了该集群对数据的分析处理能力。 节点
新建集群Kudu服务异常如何处理? 查看Kudu服务异常日志 登录MRS管理控制台。 单击集群名称进入集群详情页面。 选择“组件管理 > Kudu > 实例”,找到异常实例所属的IP。 如果集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击
MRS如何连接spark-shell? 用root用户登录集群Master节点。 配置环境变量。 source 客户端安装目录/bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户。如果当前集群未启用Kerberos认证,则无需执行此命令。 kinit
如何配置HBase双读能力 操作场景 HBase客户端应用通过自定义加载主备集群配置项,实现了双读能力。HBase双读作为提高HBase集群系统高可用性的一个关键特性,适用于四个查询场景:使用Get读取数据、使用批量Get读取数据、使用Scan读取数据,以及基于二级索引查询。它能
如何配置HBase双读功能 操作场景 HBase客户端应用通过自定义加载主备集群配置项,实现了双读能力。HBase双读作为提高HBase集群系统高可用性的一个关键特性,适用于使用Get读取数据、使用批量Get读取数据、使用Scan读取数据,以及基于二级索引查询。它能够同时读取主备集群数据,减少查询毛刺,具体表现为:
如何配置Flume定制脚本 Flume支持定制脚本,支持在传输前或者传输后执行指定的脚本,用于执行准备工作。 未安装Flume客户端场景 获取软件包。 登录FusionInsight Manager,选择“集群 > 待操作集群的名称 > 服务 > Flume”进入Flume服务界面,在右上角选择“更多
如何处理集群内部OBS证书过期 用户问题 用户在MRS集群中访问OBS服务过程中出现证书过期问题。 问题现象 MRS集群产生“ALM-12054 证书文件失效”或“ALM-12055 证书文件即将过期”告警,且告警详情中触发告警的证书为OBS证书。 图1 OBS证书即将过期告警 图2
MRS集群版本如何进行升级? MRS普通版本集群 MRS普通版本集群无法实现低版本到高版本的平滑升级。如需体验新版本集群相关能力,建议重新创建一个新版本的集群,然后将老版本集群的数据迁移到新的集群。 MRS LTS版本集群 MRS LTS版本集群支持版本升级能力,可从历史版本升级
如何切换访问MRS Manager方式? 问: MRS 3.x版本集群,用户通过专线访问MRS Manager后,如何切换到通过EIP访问? 答: 在集群“概览”页面,单击“前往Manager”后的,即可切换访问方式。 父主题: Web页面访问类
MRS如何连接spark-beeline? 用root用户登录集群Master节点。 配置环境变量。 source 客户端安装目录/bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户。如果当前集群未启用Kerberos认证,则无需执行此命令。
MRS集群磁盘如何分区的? MRS集群即发即用,不需用户自行规划磁盘分区。集群节点创建成功后,节点的操作系统磁盘分区说明如表1所示。 表1 MRS集群节点OS盘分区说明 分区类型 分区目录 容量 用途 OS分区 / 220GB 操作系统根分区目录和程序存放目录,包括了所有目录(除去下面指定的目录)。
如何解除网络ACL的关联子网 操作场景 用户可根据自身网络需求,解除网络ACL与子网的关联关系。 操作步骤 登录管理控制台。 在服务列表中单击“网络 > 虚拟私有云”。 在左侧导航栏单击“访问控制 > 网络ACL”。 在右侧在“网络ACL”列表区域,选择网络ACL的名称列,单击您需要修改的网络ACL名称进入详情页面。
如何避免Kerberos认证过期? 对于JAVA应用 在连接HBase、HDFS或者其他大数据组件前,先调用loginUserFromKeytab()创建UGI,然后启动一个定时线程进行检查是否过期并在过期前重新登录。 private static void startCheck
如何查看MRS作业的日志? MRS Console页面作业管理,每一条作业支持查看日志,包含launcherJob日志和realJob日志。 launcherJob作业的日志,一般会在stderr和stdout中打印错误日志,如下图所示: realJob的日志,可以通过MRS M