检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
properties”关键字,找到该告警上报实例对应的健康检查配置项,记录“monitor.info”参数配置的接口或者脚本路径,如下图所示。 查看接口或者脚本中打印的日志,并修复对应问题。 等待5分钟,查看告警列表中,该告警是否已清除。 是,处理完毕。 否,执行9。 检查磁盘空间是否不足。 在FusionInsight
"mrs:cluster:resize" ] } ] } 示例3:授权用户创建集群、创建并执行作业、删除单个作业,但不允许用户删除集群的权限。 { "Version": "1.1", "Statement": [
um install ntp -y命令自行安装。 执行vim /etc/ntp.conf命令编辑NTP客户端配置文件,并增加MRS集群中Master节点的IP并注释掉其他server的地址。 server master1_ip prefer server master2_ip 图1
ZKFC ZKFC是需要和NameNode一一对应的服务,即每个NameNode都需要部署ZKFC。它负责监控NameNode的状态,并及时把状态写入ZooKeeper。ZKFC也有选择谁作为Active NameNode的权利。 ZK Cluster ZooKeeper是一
ev/vdb1”。 执行以下操作使得新扩容的磁盘容量生效。 如果是新增分区操作,请执行8。新增分区操作是指把扩容的磁盘容量分配给新的分区,并挂载新的ClickHouse数据目录到新增分区下,该操作不会有中断业务的影响。 如果是扩大已有分区操作,请执行15。扩大已有分区是指把扩容的
要进行安全认证,执行kinit hdfs命令,按提示输入密码(向MRS集群管理员获取密码)。如果集群采用非安全版本,需使用omm用户登录并执行命令,请确保omm用户具有客户端执行权限。 执行hdfs dfsadmin -safemode leave。 在“运维 > 告警 > 告警”页签,查看该告警是否恢复。
界面,详情请参考访问MRS集群Manager。 通过管理控制台查看组件状态 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 在MRS集群详情页面,单击“组件管理”,可查看服务操作状态、服务健康状态和服务配置状态等信息。 图1 查看集群组件状态
Manager,修改该用户初始密码。 集群未启用Kerberos认证(普通模式) 使用admin用户连接Doris后,创建具有管理员权限的角色并绑定给用户。 已安装MySQL客户端,相关操作可参考使用MySQL客户端连接Doris。 如果Doris通过Catalog跨集群访问Hive
protection”配置项的值保持一致。 远端备份至HDFS,不支持HDFS加密目录。 如果数据要备份至OBS中,需要当前集群已对接OBS,并具有访问OBS的权限。 根据业务需要,规划备份任务的类型、周期、备份对象、备份目录等策略规格。 备份ClickHouse业务数据 在FusionInsight
或“保存并运行”,保存作业并运行作业。 表4 输出配置参数一览表 存储类型 参数名 解释说明 HDFS 文件类型 在下拉菜单中选择数据导入HDFS后保存文件的文件类型。 “TEXT_FILE”:导入文本文件并保存为文本文件。 “SEQUENCE_FILE”:导入文本文件并保存为sequence
或“保存并运行”,保存作业并运行作业。 表4 输出配置参数一览表 存储类型 参数名 解释说明 HDFS 文件类型 在下拉菜单中选择数据导入HDFS后保存文件的文件类型。 “TEXT_FILE”:导入文本文件并保存为文本文件。 “SEQUENCE_FILE”:导入文本文件并保存为sequence
快照,否则无法创建备份任务。 如果数据要备份至NAS中,需要提前部署好NAS服务端。 如果数据要备份至OBS中,需要当前集群已对接OBS,并具有访问OBS的权限。MRS 3.5.0及之后版本支持备份数据到OBS。 备份Hive业务数据 在FusionInsight Manager,选择“运维
描述 project_id 是 String 参数解释: 项目编号。获取方法,请参见获取项目ID。 约束限制: 不涉及 取值范围: 只能由英文字母和数字组成,且长度为[1-64]个字符。 默认取值: 不涉及 version_name 是 String 参数解释: 集群版本。例如“MRS
”进入“Project Structure”页面。 在“Project Structure”页面,选择“Artifacts”,单击“+”并选择“From modules with dependencies...”。 图1 添加Artifacts 选择“extract to the
商业决策,具有非常好的查询体验。 MRS对外提供了ClickHouse JDBC的应用开发样例工程,本实践用于指导您创建MRS集群后,获取并导入样例工程并在本地进行编译调测,用于实现MRS集群中的ClickHouse的表创建、删除以及数据的插入、查询等操作。 创建MRS ClickHouse集群
在添加自动化脚本时,可以参考表4配置相应参数。 表4 自动化脚本配置说明 配置项 示例 说明 名称 test 自动化脚本的名称。 只能由数字、英文字符、空格、中划线和下划线组成,且不能以空格开头。 可输入的字符串长度为1~64个字符。 说明: 同一集群内,不允许配置相同的名称。不同集群之间,可以配置相同的名称。
r进行协调。 在运行一个应用时,Driver会去连接集群管理器(Standalone、Mesos、YARN)申请运行Executor资源,并启动ExecutorBackend。然后由集群管理器在不同的应用之间调度资源。Driver同时会启动应用程序DAG调度、Stage划分、Task生成。
登录MRS管理控制台。 选择“现有集群”,单击待操作的集群名称,进入集群详情页面。 选择“弹性伸缩”页签,进入配置弹性伸缩界面。 单击“新增弹性伸缩策略”按钮,并配置“节点数量范围”为“2 - 4”。 配置资源计划。 单击默认范围下方的“配置指定时间段的节点数量范围”。 配置“时间范围”和“节点数量范围”。
信息: “备份对象”表示备份的数据源。 “备份路径”表示备份文件保存的完整路径。 选择正确的项目,在“备份路径”手工选中备份文件的完整路径并复制。 选择“运维 > 备份恢复 > 恢复管理 > 创建 ”。 图1 创建恢复任务 在“任务名称”填写恢复任务的名称。 在“恢复对象”选择“OMS”。
式处理,可支持多种外部数据源。 查询分析(Query Analysis):支持标准SQL查询分析,同时提供DSL(DataFrame), 并支持多种外部输入。 本文档重点介绍Spark、Spark SQL和Spark Streaming应用开发指导。 Spark开发接口简介 Sp