检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HDFS应用开发流程介绍 开发流程中各阶段的说明如图1和表1所示。 图1 HDFS应用程序开发流程 表1 HDFS应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解HDFS的基本概念。 HDFS应用开发简介 准备开发和运行环境 使用IntelliJ
Kafka应用开发流程介绍 Kafka客户端角色包括Producer和Consumer两个角色,其应用开发流程是相同的。 开发流程中各个阶段的说明如图1和表1所示。 图1 Kafka客户端程序开发流程 表1 Kafka客户端开发的流程说明 阶段 说明 参考文档 准备开发环境 Ka
Hive应用开发概述 Hive应用开发简介 Hive应用开发常用概念 Hive应用开发流程介绍 父主题: Hive开发指南
调测HDFS应用 在Linux环境中调测HDFS应用 查看HDFS应用调测结果 父主题: HDFS开发指南
调测Spark应用 编包并运行Spark应用 查看Spark应用调测结果 父主题: Spark开发指南
调测OpenTSDB应用 在Windows中调测程序 在Linux中调测程序 父主题: OpenTSDB开发指南
调测Impala应用 在Windows中调测Impala JDBC应用 在Linux中调测Impala JDBC应用 父主题: Impala开发指南
MapReduce开发指南(安全模式) MapReduce应用开发简介 MapReduce应用开发流程介绍 MapReduce样例工程介绍 准备MapReduce应用开发环境 开发MapReduce应用 调测MapReduce应用 MapReduce应用开发常见问题
进入集群Manager界面后,用户也可以访问MRS集群的组件Web UI界面。 在Manager界面,选择“集群 > 服务 > 组件名称”,在概览界面可登录组件的WebUI界面。 例如,选择“集群 > 服务 > HDFS”,在概览界面单击“NameNode WebUI”后的超链接即可进入HDFS WebUI界面。
Manager,在MRS Manager页面,选择“服务管理 > HDFS > 服务配置”。 “参数类别”选择“全部配置”,在搜索框中输入“dfs.permissions.enabled”,修改为“true”。 修改完成后,单击“保存配置”,并重启HDFS服务。 FusionInsight Manager界面操作(适用MRS
topic要求副本为3,因此创建失败。 解决办法 可以将扩容至少3个流式core节点,或参考如下步骤修改服务配置参数。 进入服务参数配置界面。 MRS Manager界面操作:登录MRS Manager,选择“服务管理 > Kafka > 服务配置”,“参数类别”设置为“全部配置”。 FusionInsight
java:110) 通过Manager页面,查看当前Kafka集群配置。 MRS Manager界面操作:登录MRS Manager,选择“服务管理 > Kafka > 服务配置”,“参数类别”设置为“全部配置”,发现“KAFKA_JVM_PERFORMANCE_OPTS”的中“-XX:MaxDi
HBase启动后原生页面显示RegionServer个数多于实际个数 问题背景 HBase启动后,HMaster原生页面显示RegionServer个数多于实际RegionServer个数。 查看HMaster原生页面,显示有4个RegionServer在线,如下图示: 原因分析
登录MRS管理控制台。 在集群详情页面,选择“节点管理”。 单击待更换磁盘的“节点名称”进入弹性云服务器管理控制台,单击“关机”。 联系华为云支持人员在后台更换磁盘。 在弹性云服务器管理控制台,单击“开机”,将已更换磁盘的节点开机。 执行fdisk -l命令,查看新增磁盘。 使用cat
备份MRS集群组件数据 备份Manager数据(MRS 2.x及之前版本) 备份Manager数据(MRS 3.x及之后版本) 备份CDL业务数据 备份ClickHouse元数据 备份ClickHouse业务数据 备份DBService元数据 备份Doris业务数据 备份Flink元数据
执行MRS角色实例主备倒换 部分服务的角色以主备高可用的模式进行部署,在需要对主实例进行维护不能提供服务,或者其他维护需要时,可以手动触发实例主备倒换。 执行角色实例主备倒换 登录Manager,详情请参考访问MRS集群Manager。 选择“集群 > 服务”。 MRS 2.x及之前版
Manager。 选择“集群 > 概览 > 更多 > 下载客户端”(MRS 3.3.0及之后版本在“主页”选择“下载客户端”),下载完整客户端到服务端指定目录。 具体操作请参考安装MRS集群客户端。 解压新下载的客户端,在解压后的目录找到batch_upgrade目录,例如“/tmp/
Hive使用beeline -e执行多条语句报错如何处理? MRS 3.x版本Hive使用beeline执行beeline -e "use default;show tables;"命令报错: Error while compiling statement: FAILED: ParseException
Spark作业访问OBS报错“requestId=XXX”如何处理? 问: Spark作业访问OBS报错,错误信息如下,如何处理? xxx requestId=4971883851071737250 xxx 答: 登录Spark客户端节点,进入conf目录,修改配置文件“core-site
Hudi Cleaning操作说明 Cleaning用于清理不再需要的版本数据。 Hudi使用Cleaner后台作业,不断清除不需要的旧版本数据。通过配置hoodie.cleaner.policy和hoodie.cleaner.commits.retained可以使用不同的清理策略和保存的commit数量。