检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
计算和存储能力,完成海量数据的处理。企业自行部署Hadoop系统有成本高,周期长,难运维和不灵活等问题。 针对上述问题,华为云提供了大数据MapReduce服务(MRS),MRS是一个在华为云上部署和管理Hadoop系统的服务,一键即可部署Hadoop集群。MRS提供租户完全可控
如何在MRS集群中手动添加组件? 问:如何在已创建好的MRS集群中手动添加服务? 答: 已经创建的MRS 3.1.0及之前版本集群不支持安装新的组件。如果需要使用当前集群未安装的组件,则需要重新创建一个集群,并且选择所需要的组件。 MRS 3.1.2-LTS.3及之后版本的自定义
如何读取“__consumer_offsets”内部topic的内容 用户问题 Kafka如何将consumer消费的offset保存在内部topic“ __consumer_offsets”中? 处理步骤 以客户端安装用户,登录安装Kafka客户端的节点。 切换到Kafka客户
如果执行过以下几种操作: Kafka或者Zookeeper进行过扩容或缩容操作。 Kafka或者Zookeeper增加或者删除过实例。 重装Zookeeper服务。 Kafka切换到了其他的Zookeeper服务。 可能导致Kafka Topic监控不显示,请按以下步骤恢复:
配置ClickHouse对接OpenLDAP认证系统 ClickHouse支持和OpenLDAP进行对接,通过在ClickHouse上添加OpenLDAP服务器配置和创建用户,实现账号和权限的统一集中管理和权限控制等操作。此方案适合从OpenLDAP服务器中批量向ClickHouse中导入用户。
Storage)是一种特殊的专用数据存储服务器,包括存储器件和内嵌系统软件,可提供跨平台文件共享功能。利用NFS(支持NFSv3、NFSv4)和CIFS(支持SMBv2、SMBv3)协议,用户可以连通MRS的业务平面与NAS服务器,将数据备份至NAS或从NAS恢复数据。 数据备份至NAS前,系统会自动将NA
性能优化类 Hadoop压力测试工具如何获取? 如何提高集群Core节点的资源使用率? 如何配置MRS集群knox内存? 如何调整MRS集群manager-executor进程内存? 如何设置Spark作业执行时自动获取更多资源? spark.yarn.executor.memo
资源。 新角色包含计算资源和存储资源的权限。此角色及其权限由系统自动控制,不支持通过“系统 > 权限> 角色”进行手动管理,角色名称为“租户名称_集群ID”。首个集群的集群ID默认不显示。 使用此租户时,请创建一个系统用户,并绑定租户对应的角色。 子租户可以将当前租户的资源进一步
产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 监控指标转储失败会影响上层管理系统无法获取到FusionInsight Manager系统的监控指标。 可能原因 无法连接服务器。 无法访问服务器上保存路径。 上传监控指标文件失败。 处理步骤 查看服务器连接是否正常。 查看FusionInsight
如何获取Spark Jar包? 华为提供开源镜像站(网址为https://mirrors.huaweicloud.com/),各服务样例工程依赖的jar包都可在华为开源镜像站下载,剩余所依赖的开源jar包请直接从Maven中央库或者其他用户自定义的仓库地址下载。 本地环境使用开发
principal="flume_hbase@<系统域名>" useTicketCache=false storeKey=true debug=true; }; 参数keyTab和principal根据实际情况修改。 问题:一旦提交配置文件后,flume agent即在占用资源运行,如何恢复到没有上传配置文件的状态?
如何查看MRS服务的操作日志信息? “操作日志”页面记录了用户对集群和作业的操作的日志信息。目前,MRS界面记录的日志信息分为以下几类: 集群操作 创建集群、删除集群、扩容集群和缩容集群等操作 创建目录、删除目录和删除文件等操作 作业操作:创建作业、停止作业和删除作业等操作 数据
principal="flume_hbase@<系统域名>" useTicketCache=false storeKey=true debug=true; }; 参数keyTab和principal根据实际情况修改。 问题:一旦提交配置文件后,flume agent即在占用资源运行,如何恢复到没有上传配置文件的状态?
MRS集群如何使用公网访问Presto 用户问题 用户调测Presto JDBC样例代码,需要使用公网访问Presto。 问题分析 登录MRS Manager上查看Presto全部配置,Coordinator角色配置: PRESTO_COORDINATOR_FLOAT_IP = 内网IP地址
MRS集群磁盘如何分区的? MRS集群即发即用,不需用户自行规划磁盘分区。集群节点创建成功后,节点的操作系统磁盘分区说明如表1所示。 表1 MRS集群节点OS盘分区说明 分区类型 分区目录 容量 用途 OS分区 / 220GB 操作系统根分区目录和程序存放目录,包括了所有目录(除去下面指定的目录)。
FE服务故障如何恢复 问题现象 FE可能因为某些原因出现无法启动bdbje、FE之间无法同步等问题,无法进行元数据写操作、没有MASTER等。需要手动操作来恢复FE,手动恢复FE先通过当前“meta_dir”中的元数据,启动一个新的MASTER,然后再逐一添加其他FE。 操作步骤
计费类 创建MRS集群时计价器为什么未显示价格? MRS集群中的弹性伸缩功能如何收费? MRS集群的Task节点如何收费? 退订MRS集群后在ECS中退订弹性云服务器时报异常如何处理?
执行distcp命令报错如何处理 问题 为何distcp命令在安全集群上执行失败并发生异常? 客户端出现异常: Invalid arguments:Unexpected end of file from server 服务器端出现异常: javax.net.ssl.SSLException:Unrecognized
准备一个用于安装MRS集群客户端的Linux弹性云服务器。 云服务器操作系统及版本建议如下: 表1 操作系统参考列表 CPU架构 操作系统 支持的版本号 x86计算 Euler 可用:Euler OS 2.2 可用:Euler OS 2.3 可用:Euler OS 2.5 鲲鹏计算(ARM) Euler
执行distcp命令报错如何处理 问题 为何distcp命令在安全集群上执行失败并发生异常? 客户端出现异常: Invalid arguments:Unexpected end of file from server 服务器端出现异常: javax.net.ssl.SSLException:Unrecognized