检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS 2.1.0.3补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 2.1.0.3 发布时间 2020-04-29 解决的问题 MRS 2.1.0.3 修复问题列表: MRS Manager Manager executor高并发提交作业问题 MRS大数据组件 hive
MRS 1.9.2.2补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 1.9.2.2 发布时间 2021-05-18 解决的问题 MRS Manager 解决sudo提权漏洞 解决扩容刷新队列会导致队列丢失问题 MRS大数据组件 解决Hive on Spark任务报block
在开启了写时合并选项的Unique表上,数据在导入阶段就会去将被覆盖和被更新的数据进行标记删除,同时将新的数据写入新的文件。
MRS 1.7.1.3补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 1.7.1.3 发布时间 2018-09-18 解决的问题 MRS Manager MRS Manager新增运维通道功能。 MRS Manager单击审计日志详细信息下载报错。 MRS Manager
观察者 观察者(Observer)不参与选举和写请求的投票,只负责处理读请求、并向Leader转发写请求,避免系统处理能力浪费。 离散流 Spark Streaming提供的抽象概念。表示一个连续的数据流,是从数据源获取或者通过输入流转换生成的数据流。
如果在这段时间内没有做任何操作,session会被关闭。
“起止时间”表示时间范围的开始时间和结束时间,可以搜索此时间段内产生的告警。 查看告警参考章节告警帮助,按照帮助指导处理告警。如果某些场景中告警由于MRS依赖的其他云服务产生,可能需要联系对应云服务运维人员处理。
如果在这段时间内没有做任何操作,session会被关闭。
cd Hive客户端安装目录 source bigdata_env kinit 组件业务用户 beeline 执行以下命令在Hive beeline交互窗口创建数据表person,该表有3个字段:name/gender/stayTime。
重启MRS集群组件使用限制 请在低业务负载时间段进行滚动重启操作。 在滚动重启Kafka服务时, 如果Kafka服务业务吞吐量很高(100MB/s以上的情况下),会出现Kafka服务滚动重启失败的情况。
如果数据库中的表或者表中的文件数量比较多,在授权时可能需要等待一段时间。例如表的文件数量为1万时,可能需要等待2分钟。 表1 设置角色 任务场景 角色授权操作 设置Hive管理员权限 在“权限”的表格中单击“Hive”,勾选“Hive Admin Privilege”。
Local-Global聚合是为解决数据倾斜问题提出的,通过将一组聚合分为两个阶段,首先在上游进行本地聚合,然后在下游进行全局聚合,类似于MapReduce中的 Combine + Reduce模式。
示例 下面这个例子,你可以看到每个阶段(Stage)的CPU时间消耗,每个计划节点相应的代价。 这个代价是基于现实时间(wall time),而非CPU的相关时间。
依次删除编号为12005000201的用户的所有数据字段,以删除“age”字段为例: delete 'user_info','12005000201','i:age' 删除编号为12005000201的用户的所有数据: deleteall 'user_info','12005000201
执行COMPUTE STATS FOR TABLE src ON COLUMNS name,age命令计算表中name和age两个字段的统计信息。 当前列的统计信息支持四种类型:数值类型、日期类型、时间类型和字符串类型。
balancer 执行完均衡后,等待一段时间,再登录FusionInsight Manager界面,选择“运维 > 告警 > 告警”,观察该告警是否清除。 是,处理完毕。 否,执行13。
FlinkServer界面回显FlinkSQL时,SQL中的“password”字段将显示为空,在回显状态下需要将密码信息补齐后再提交作业。如果是自定义connector,密码字段名要用“password”关键字,否则页面可能显示敏感信息。
例如,文件名为“txt.log”,以空格拆分字段,以换行符作为行分隔符。 执行以下命令上传文件至HDFS中,例如“/tmp”目录下。
说明: 如果对URL片段标示名称进行如下指定,该属性还可以为存档创建别名。作为示例,这里将别名设为了mr-framework。
等待一段时间,检查告警是否清除。 是,操作结束。 否,执行18。 收集故障信息。 在MRS Manager界面,单击“系统设置 > 日志导出”。 请联系运维人员,并发送已收集的故障日志信息。 参考信息 无。 父主题: MRS集群告警处理参考