检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
java:799) ... 原因分析 用户使用 useradd 命令来创建用户,此用户默认用户组不包含“ficommmon”用户组,导致在使用hdfs的get命令的时候出现上述报错。 处理步骤 使用命令usermod -a -G ficommon username 为用户添加用户组“ficommon”。
JobManager的标准。 /jobmanager/metrics JobManager的指标。 /:* 对Web前端的静态文件(如HTML,CSS或JS文件)的请求。 表1中变量的介绍请参见表2。 表2 变量说明 变量 说明 jobid job的id vertexid 流图的顶点id subtasknum
可以通过选择右上角的“组件首次启动前”或者“组件首次启动后”查询相关的引导操作信息。 这里列出的是上次执行结果。对于新创建的集群,则列出的是创建时执行引导操作的记录;如果集群被扩容了,则列出的是上次扩容对新增节点执行引导操作的记录。 查看执行日志 如果需要查看引导操作的执行日志,请在添加引导操作时将“失败操作”配置为
JobManager的标准。 /jobmanager/metrics JobManager的指标。 /:* 对Web前端的静态文件(如HTML,CSS或JS文件)的请求。 表1中变量的介绍请参见表2。 表2 变量说明 变量 说明 jobid job的id。 vertexid 流图的顶点id。
JobManager的标准。 /jobmanager/metrics JobManager的指标。 /:* 对Web前端的静态文件(如HTML,CSS或JS文件)的请求。 表1中变量的介绍请参见表2。 表2 变量说明 变量 说明 jobid job的id vertexid 流图的顶点id subtasknum
Base Service。 图1 添加HBase Service 请参考表1填写添加HBase Service的相关参数,未在表中列出的参数请保持默认值。 表1 参数说明 名称 说明 示例值 Service Name 创建的服务名称,固定填写:hbasedev。 hbasedev
在客户端安装节点的/tmp目录下残留了很多blockmgr-开头和spark-开头的目录 问题 系统长时间运行后,在客户端安装节点的/tmp目录下,发现残留了很多blockmgr-开头和spark-开头的目录。 图1 残留目录样例 回答 Spark任务在运行过程中,driver会
Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 查询用户(组)与IAM委托的映射关系成功 400 查询用户(组)与IAM委托的映射关系失败 错误码 请参见错误码。 父主题:
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
JobManager的标准。 /jobmanager/metrics JobManager的指标。 /:* 对Web前端的静态文件(如HTML,CSS或JS文件)的请求。 表1中变量的介绍请参见表2。 表2 变量说明 变量 说明 jobid job的id。 vertexid 流图的顶点id。
如何让不同的业务程序分别用不同的Yarn队列? 问: 如何让不同的业务程序分别用不同的Yarn队列? 答: 在Manager页面上创建一个新的租户,然后将不同的集群业务用户绑定至不同的租户。 操作步骤 登录FusionInsight Manager,单击“租户资源”。 在左侧租户
ClickHouse是一款开源的面向联机分析处理的列式数据库,其独立于Hadoop大数据体系,最核心的特点是压缩率和极速查询性能。同时,ClickHouse支持SQL查询,且查询性能好,特别是基于大宽表的聚合分析查询性能非常优异,比其他分析型数据库速度快一个数量级。 ClickHouse核心的功能特性介绍如下:
6)的概率写到磁盘空间使用率低的节点。 第三副本等其他后续副本的存储情况,也参考第二个副本的选择方式。 前提条件 集群里DataNode节点的磁盘总容量偏差不能超过100%。 操作步骤 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面。 调整HDFS写数据时的依据的磁盘选择策略参数。搜索“dfs
6)的概率写到磁盘空间使用率低的节点。 第三副本等其他后续副本的存储情况,也参考第二个副本的选择方式。 前提条件 集群里DataNode节点的磁盘总容量偏差不能超过100%。 操作步骤 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面。 调整HDFS写数据时的依据的磁盘选择策略参数。搜索“dfs
Manager”中的HIVE处,单击添加Hive Service。 图1 添加Hive Service 请参考表1填写添加Hive Service的相关参数,未在表中列出的参数请保持默认值。 表1 参数说明 参数 说明 示例值 Service Name 创建的服务名称,固定填写:hivedev。
务自研组件,提供长期的支持和演进。 普通版:主要依托开源组件的能力,融入了MRS服务自研、成熟稳定的特性和功能,带来性能及稳定性的提升。 LTS版 集群版本 MRS集群的版本,不同版本所包含的开源组件版本及功能特性可能不同,推荐选择最新版本。 版本详细包含的组件详细可参考MRS组件版本一览表。
性能优化类 Hadoop压力测试工具如何获取? 如何提高集群Core节点的资源使用率? 如何配置knox内存? 如何调整manager-executor进程内存? 如何设置Spark作业执行时自动获取更多资源? spark.yarn.executor.memoryOverhead设置不生效如何处理?
客户端安装目录/Spark/spark1-1.0-SNAPSHOT.jar;,排查是否引入了非法字符。 如果是,修改非法字符,重新执行命令。 重新执行命令后,发生其他错误,查看该jar包的属主属组信息,发现全为root。 修改jar包的属主属组为omm:wheel,重新执行成功。 父主题: 使用Spark
在客户端安装节点的/tmp目录下残留了很多blockmgr-开头和spark-开头的目录 问题 系统长时间运行后,在客户端安装节点的/tmp目录下,发现残留了很多blockmgr-开头和spark-开头的目录。 图1 残留目录样例 回答 Spark任务在运行过程中,driver会
升级Master节点规格需要关机吗? 问:升级Master节点规格时需要手动关机吗? 答:MRS服务集群的Master节点规格升级时会自动触发关机操作,当升级完成后会自动触发开机操作,无需人工干预。 父主题: 节点管理类