正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看Ranger审计信息 Ranger管理员可通过Ranger界面查看Ranger运行审计日志及组件使用Ranger鉴权后权限管控审计日志信息。 查看Ranger审计信息内容 使用Ranger管理员用户rangeradmin登录Ranger管理页面,具体操作可参考登录Ranger
算周期。 使用资源ID查看指定资源的账单 登录管理控制台,选择“大数据 > MapReduce服务 MRS”,进入MRS现有集群列表。 单击需要查询的集群名称,单击“节点管理”,查询并记录需要查看费用账单的集群节点ID。 图1 查看集群节点ID 单击需要查询的节点名称,进入对应节
配置HDFS客户端元数据缓存提高读取性能 操作场景 通过使用客户端缓存元数据块的位置来提高HDFS读取性能。 此功能仅用于读取不经常修改的文件。因为在服务器端由某些其他客户端完成的数据修改,对于高速缓存的客户端将是不可见的,这可能导致从缓存中拿到的元数据是过期的。 本章节适用于MRS 3.x及后续版本。
B对应500000块数,用户可根据需要调整内存值。 查看HDFS容量状态 NameNode信息 MRS 3.x之前版本:登录MRS控制台,选择“组件管理 > HDFS > NameNode(主)”,单击“Overview”,查看“Summary”显示的当前HDFS文件对象、文件数量、目录数量和Block数量信息。
500000块数,用户可根据需要调整内存值。 查看HDFS容量状态 NameNode信息 登录FusionInsight Manager,选择“集群 > 服务 > HDFS > NameNode(主)”,单击“Overview”,查看“Summary”显示的当前HDFS文件对象、
$Sqoop_Home:目的集群上Sqoop的安装目录。 <ip>:目的集群上数据库的IP地址。 <table_name>:待恢复的表名称。 <passwd>:hive用户的密码。 <export_from>:元数据在目的集群的HDFS地址。 命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关
需按照实际环境修改以下参数: hiveserverIp:替换为实际需要连接的HiveServer节点IP地址,可登录FusionInsight Manager,选择“集群 > 服务 > Hive > 实例”查看。 hiveserverPort:需要替换为Hive服务的端口,可在FusionInsight
配置HDFS客户端元数据缓存提高读取性能 操作场景 通过使用客户端缓存元数据块的位置来提高HDFS读取性能。 此功能仅用于读取不经常修改的文件。因为在服务器端由某些其他客户端完成的数据修改,对于高速缓存的客户端将是不可见的,这可能导致从缓存中拿到的元数据是过期的。 本章节适用于MRS 3.x及后续版本。
logs/$job_id/$attempt_id/syslog 仅支持Hadoop 1.X。 callback 在MR任务执行完的回调地址,使用$jobId,将任务ID嵌入回调地址。在回调地址中,任务ID替换该$jobId。 返回结果 参数 描述 id 任务ID,类似“job_201110132141_0001”
计费FAQ 创建MRS集群时计价器为什么未显示价格? MapReduce服务集群的Task节点如何收费? 退订MRS服务后,在ECS中退订弹性云服务器时报异常如何处理?
添加Hive服务后,提交hivesql/hivescript作业失败如何处理? 该问题是由于提交作业的用户所在用户组绑定的MRS CommonOperations策略权限在同步到Manager中后没有Hive相关权限,处理方法如下: 添加Hive服务完成。 登录IAM服务控制台,
MRS集群版本如何进行升级? MRS普通版本集群 MRS普通版本集群无法实现低版本到高版本的平滑升级。如需体验新版本集群相关能力,建议重新创建一个新版本的集群,然后将老版本集群的数据迁移到新的集群。 MRS LTS版本集群 MRS LTS版集群支持版本升级能力,可从历史版本升级至
MRS如何连接spark-shell? 用root用户登录集群Master节点。 配置环境变量。 source 客户端安装目录/bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户。如果当前集群未启用Kerberos认证,则无需执行此命令。 kinit
如何切换访问MRS Manager方式? 问: MRS 3.x版本集群,用户通过专线访问MRS Manager后,如何切换到通过EIP访问? 回: 在集群“概览”页面,单击“前往Manager”后的,即可切换访问方式。 父主题: Web页面访问类
SparkSQL访问Hive分区表启动Job前耗时较长如何处理? 问题背景 使用SparkSql访问Hive的一个数据存放于OBS的一个分区表,但是运行速度却很慢,并且会大量调用OBS的查询接口。 SQL样例: select a,b,c from test where b=xxx
访问HetuEngine的用户名,即在集群中创建的“人机”用户的用户名。 socksProxy SOCKS代理服务器,如“localhost:1080”。 httpProxy HTTP代理服务器地址,如“localhost:8888”。 applicationNamePrefix 要附加到任何
选择右上角“更多 > 清理堆栈信息”。 选择需要清理的角色和内容,并配置“文件目录”。单击“确定”执行清理操作。 图3 清理堆栈信息 父主题: 查看MRS集群日志
x及之后版本,已在集群内的任一节点安装了客户端,并获取此节点IP地址。 修改Kerberos管理员用户密码 如果当前为MRS 3.x及之后版本,修改此用户密码将同步修改OMS Kerberos管理员密码。 登录集群节点。 MRS 3.x及之后版本:以root用户通过节点IP地址登录安装了客户端的节点。 MRS 2
Mapreduce服务集群的Task节点如何收费? 问: Mapreduce服务(MRS)集群的Task节点如何收费? 答: 包年/包月集群和按需计费集群的Task节点的计费模式为按需计费,即按实际使用时长计费,计费周期为一小时。 父主题: 计费类
如何重置或修改Manager(admin)密码? 已知旧密码修改admin密码请参考修改admin密码 忘记旧密码重置admin密码请参考修改组件运行用户密码 父主题: 账号密码类