检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
力,集群中的每个组件对应一个服务名,提供一种服务。 角色:角色是服务的组成要素,每个服务由一个或多个角色组成,服务通过角色安装到节点(即服务器)上,保证服务正常运行。 实例:当一个服务的角色安装到节点上,即形成一个实例。每个服务有各自对应的角色实例。 各服务的部署原则如MRS集群部署方案说明所示。
table test_1 (id int, name text, value text); 配置“Hive输入”算子,生成三个字段A、B和C: 设置了数据连接器后,单击“自动识别”,系统将自动读取数据库中的字段,可根据需要选择添加,然后根据业务场景手动进行完善或者修正即可,无需逐一手动添加。
table test_1 (id int, name text, value text); 配置“Spark输入”算子,生成三个字段A、B和C: 设置了数据连接器后,单击“自动识别”,系统将自动读取数据库中的字段,可根据需要选择添加,然后根据业务场景手动进行完善或者修正即可,无需逐一手动添加。
在FusionInsight Manager首页,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“JobGateway”。 单击右上角的设置日志收集的“开始时间”和“结束时间”,分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除
等待5分钟后,在“告警管理”页签,查看该告警是否恢复。 是,处理完毕。 否,执行3。 收集故障信息。 在MRS Manager界面,单击“系统设置 > 日志导出”。 请联系运维人员,并发送已收集的故障日志信息。 参考信息 无。 父主题: MRS集群告警处理参考
在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“CDL”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后30分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除
Name:设置策略名称,例如:test_hive。 database: 永久函数:配置要添加函数的数据库名称,例如:default。 临时函数:将“database”切换为“global”,并配置具体的函数名或设置为*。 table:切换为“udf”,并配置具体的函数名或设置为*。临时函数无需配置该参数。
Name:设置策略名称,例如:test_hive。 database: 永久函数:配置要添加函数的数据库名称,例如:default。 临时函数:将“database”切换为“global”,并配置具体的函数名或设置为*。 table:切换为“udf”,并配置具体的函数名或设置为*。临时函数无需配置该参数。
Hive > 配置 > 全部配置”。 选择“HiveServer(角色) > 自定义”,对参数文件“hive-site.xml”添加自定义参数,设置“名称”为“hive.internaltable.notallowlocation”,“值”为“true”,修改后重启所有Hive实例。
目的集群所在Region的OBS,然后通过Distcp工具将OBS数据复制到目的集群的HDFS上。由于执行Distcp无法为OBS上的文件设置权限、属主/组等信息,因此当前场景在进行数据导出时也需要将HDFS的元数据信息进行导出并复制,以防HDFS文件属性信息丢失。 线下集群向云迁移
module.Krb5LoginModule required useKeyTab=true keyTab="user.keytab" principal="test@<系统域名>" useTicketCache=false storeKey=true debug=true; }; 确保
等待当天零点,系统下一次熵值检查,查看告警是否自动清除。 是,操作结束。 否,执行8。 收集故障信息。 在MRS Manager界面,单击“系统设置 > 日志导出”。 请联系运维人员,并发送已收集的故障日志信息。 参考信息 无。 父主题: MRS集群告警处理参考
待创建资源所在的区域信息,不同区域的资源之间内网不互通,请选择靠近您的区域,可以降低网络延时、提高访问速度。 - 集群名称 MRS集群名称,可以设置为系统默认名称,但为了区分和记忆,建议带上项目拼音缩写或者日期信息等。 集群创建成功后,您也可以在集群列表中手动修改集群名称。 mrs-test
> 全部配置”。在搜索框中输入“spark.dynamicAllocation.enabled”参数名称,将JDBCServer下的该参数值设置为“true”,表示开启动态资源调度功能。 下面是一些可选配置,如表1所示。 表1 动态资源调度参数 配置项 说明 默认值 spark.dynamicAllocation
查询任务失败,将重试失败的task。建议在执行大批量查询时使用此策略,集群可以更高效的重试查询中的小颗粒任务,而不是整个查询。 本示例介绍设置“TASK”重试策略容错执行机制。 使用HetuEngine查询容错执行能力须知 容错不适用于已损坏的查询或其他用户错误场景。例如:不会花
percentage”和“dfs.datanode.du.reserved”,则采用这两个参数较大的数值作为DataNode的预留空间大小。 建议基于磁盘空间设置“dfs.datanode.du.reserved”或者“dfs.datanode.du.reserved.percentage”。 配置描述
createDefault()) { HttpPost httpPost = new HttpPost(QUERY_URL);// 请求需要设置超时时间 addTimeout(httpPost); String queryRequest = genQueryReq();
日志 > 下载”。 在“服务”中勾选待操作集群的“HBase”。 在“主机”中勾选HMaster实例所在的主机。 单击右上角的时间编辑按钮,设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除
/tmp/spark/JAR/ 在Spark客户端的“{客户端安装目录}/Spark/spark/conf/spark-defaults.conf”配置文件中进行设置,修改如下参数: 参数 参数值 spark.jars Jar包路径,例如:hdfs://hacluster/tmp/spark/JAR/spark-test
在FusionInsight Manager首页,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“MemArtsCC”。 单击右上角的编辑按钮设置日志收集的“开始时间”和“结束时间”,分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除