检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
默认情况下,组件间的通道是不加密的。您可以配置如下参数,设置安全通道为加密的。 参数修改入口:在FusionInsight Manager系统中,选择“集群 > 服务 > HDFS > 配置”,展开“全部配置”页签。在搜索框中输入参数名称。 配置后应重启对应服务使参数生效。 表1
x及之后版本) 备份CDL业务数据 备份ClickHouse元数据 备份ClickHouse业务数据 备份DBService元数据 备份Doris业务数据 备份Flink元数据 备份HBase元数据 备份HBase业务数据 备份HDFS NameNode元数据 备份HDFS业务数据 备份Hive业务数据
1.2补丁之后,从MRS 1.7.1.2升级其他补丁不会重启服务,业务不断服。 MRS 1.7.1.1,MRS 1.7.1.2补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节
准备本地应用开发环境 在进行二次开发时,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 Windows系统,支持Windows 7以上版本。 开发和运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置。版本要求如下: 服务端和客户端仅支持自带的OpenJDK,版本为1
准备本地应用开发环境 在进行二次开发时,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 Windows系统,支持Windows 7以上版本。 开发和运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置。版本要求如下: 服务端和客户端仅支持自带的OpenJDK,版本为1
准备本地应用开发环境 在进行二次开发时,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 Windows系统,支持Windows 7以上版本。 开发和运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置。版本要求如下: 服务端和客户端仅支持自带的OpenJDK,版本为1
准备本地应用开发环境 在进行二次开发时,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 Windows系统,支持Windows 7以上版本。 开发和运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置。版本要求如下: 服务端和客户端仅支持自带的OpenJDK,版本为1
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 当Guardian调用ECS的securitykey接口失败时,可能会导致任务获取访问OBS的临时aksk失败,进而业务无法正常访问OBS。 可能原因 集群未绑定ECS委托。 ECS底层接口异常,导致请求失败。
ge没有更新,则说明HDFS元数据合并功能异常,需要修复。 在主NameNode节点上,系统每5分钟检测其上的FsImage文件的信息。如果在三个合并周期没有新的FsImage文件生成,则系统产生该告警。 当新的FsImage文件生成并成功推送到主NameNode,说明HDFS元数据合并功能恢复正常,告警自动恢复。
ALM-38008 Kafka数据目录状态异常 告警解释 系统每60秒周期性检测Kafka数据目录状态,当检测到某数据目录状态异常时产生该告警。 平滑次数为1,当数据目录状态恢复正常后,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 38008 重要 是 告警参数 参数名称
ALM-45438 ClickHouse磁盘使用率超过80% 告警解释 系统每隔1分钟检测ClickHouseServer节点磁盘容量,当检测到ClickHouse数据目录或元数据目录所在磁盘的使用率超过80%时,系统产生此告警。 当检测到ClickHouse数据目录或元数据目录所在磁盘的使用率低于80%时,告警自动清除。
访问策略列表页面。 各组件的策略列表中,系统默认会生成若干条目,用于保证集群内的部分默认用户或用户组的权限(例如supergroup用户组),请勿删除,否则系统默认用户或用户组的权限会受影响。 单击“Add New Policy”,根据业务场景规划配置相关用户或者用户组的资源访问策略。
在左侧导航栏单击编辑器,然后选择“Hive”。 在“Database”右侧下拉列表选择一个Hive中的数据库,默认数据库为“default”。 系统将自动显示数据库中的所有表。可以输入表名关键字,系统会自动搜索包含此关键字的全部表。 单击指定的表名,可以显示表中所有的列。 在HiveQL语句编辑区输入HiveQL语句。
ate命令查询。 下载MapReduce客户端程序到客户端机器中。 登录MRS Manager系统。 在浏览器地址栏中输入访问地址,地址格式为“https://MRS Manager系统的WebService浮动IP地址:8080/web”。例如,在IE浏览器地址栏中,输入“https://10
Alluxio常用概念 Masters 由两个进程组成,一个是处理用户请求和管理Journal存储系统元数据的Alluxio Master,另一个是调度文件系统操作的Alluxio Job Master。 Workers 负责管理用户可配置的本地资源(例如:内存、SDD、HDD),对底层存储进行数据操作。
Hive是Apache的Hadoop项目的子项目,Hive利用HDFS作为其文件存储系统。Hive通过解析和计算处理结构化的数据,Hadoop HDFS则为Hive提供了高可靠性的底层存储支持。Hive数据库中的所有数据文件都可以存储在Hadoop HDFS文件系统上,Hive所有的数据操作也都是通过Hadoop HDFS接口进行的。
JDBCServer GC 时间超出阈值(2.x及以前版本) 告警解释 系统每60秒周期性检测JDBCServer进程的GC时间,当检测到JDBCServer进程的GC时间超出阈值(连续3次检测超过12秒)时产生该告警。 用户可通过“系统设置 > 阈值配置 > 服务 > Spark > JDBCServer的GC时间
安全认证有两种方式: 命令行认证: 提交MapReduce应用程序运行前,在MapReduce客户端执行如下命令获得认证。 kinit 组件业务用户 代码认证: 通过获取客户端的principal和keytab文件在应用程序中进行认证。 MapReduce的安全认证代码 目前使用统
以下操作步骤以导入MapReduce样例代码为例。操作流程如图1所示。 图1 导入样例工程流程 前提条件 确保本地环境的时间与MRS集群的时间差要小于5分钟,若无法确定,请联系系统管理员。MRS集群的时间可通过FusionInsight Manager页面右下角查看。 已准备开发环境及MRS集群相关配置文件,详情请参
Hadoop平台开发的列式存储管理器,具有Hadoop生态系统应用程序的共同技术特性:在通用的商用硬件上运行,可水平扩展,提供高可用性。 Kudu的设计具有以下优点: 能够快速处理OLAP工作负载。 支持与MapReduce,Spark和其他Hadoop生态系统组件集成。 与Apache Impal