检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
任何业务。 云数据迁移(Cloud Data Migration,简称CDM),是一种高效、易用的数据集成服务。CDM围绕大数据迁移上云和智能数据湖解决方案,提供了简单易用的迁移能力和多种数据源到数据湖的集成能力,降低了客户数据源迁移和集成的复杂性,有效的提高数据迁移和集成的效率
在FusionInsight Manager首页,选择“集群 > 服务 > HBase > 图表”,在“图表分类”中选择“GC”,查看GC次数和GC时间监控是否异常。 是,执行6。 否,执行9。 单击“配置”,在搜索框中搜索“GC_OPTS”,在RegionServer所在节点内存允许范围内,
用户的连接数状况。 观察当前告警用户的实时连接数情况,确认当前用户的实时监控数据是否存在。 是,执行4。 否,说明当前用户已经断开所有连接,则手动清除告警,操作结束。 当告警用户断开所有连接之后,该用户的监控数据会消失,此时无法自动清除告警,需要手动清除。 确认该告警的用户是否为业务侧允许的合法用户。
MRS集群保留JDK说明 MRS集群是租户完全可控的大数据应用开发平台,用户基于平台开发业务后,将业务程序部署到大数据平台运行。由于需要具备开发调测能力,因此要在MRS集群中保留JDK。 此外,MRS集群功能中如下关键特性也强依赖JDK。 HBase BulkLoad HBase
第三方jar包跨平台(x86、TaiShan)支持 问题 用户自己写的jar包(比如自定义udf包)区分x86和TaiShan版本,如何让spark2x支持其正常运行。 回答 第三方jar包(例如自定义udf)区分x86和TaiShan版本时,混合使用方案: 进入到服务端spark2x
您想继续使用MRS集群,需要在规定的时间内为MRS集群进行续费,否则无法在MRS管理控制台对该集群执行相关操作,相关接口也无法调用,自动化监控或告警等运维服务也会停止。续费包括手动续费和自动续费两种方式,您可以根据需求选择。了解更多关于续费的信息,请参见续费概述。 费用账单 您可以在管理控制台选择页面上方的“费用
节点。 方案架构 租户是MRS大数据平台的核心概念,使传统的以用户为核心的大数据平台向以多租户为核心的大数据平台转变,更好的适应现代企业多租户应用环境,如图1所示。 图1 以用户为核心的平台和以多租户为核心的平台 对于以用户为核心的大数据平台,用户直接访问并使用全部的资源和服务。
第三方jar包跨平台(x86、TaiShan)支持 问题 用户自己写的jar包(比如自定义udf包)区分x86和TaiShan版本,如何让spark2x支持其正常运行。 回答 第三方jar包(例如自定义udf)区分x86和TaiShan版本时,混合使用方案: 进入到服务端spark2x
新特性和优化 MRS Manager 支持对慢盘自动隔离能力。 支持EVS磁盘分区容量扩容。 支持D系列磁盘热插拔。 支持运维巡检特性。 支持监控指标上报CES。 支持HDFS单副本检测能力。 解决的问题 不涉及 安装完成后必须的手动操作 请参考安装完成后必须的手动操作。 补丁兼容关系
如果Manager的WebService浮动IP地址异常,用户无法登录和使用Manager。如果Manager的数据库异常,所有核心业务和相关业务进程,例如告警和监控功能,都会受影响。 可能原因 浮动IP地址异常。 数据库异常。 处理步骤 检查主管理节点的浮动IP地址状态。 打开MRS集群详情页面,在告
${SRV_HOME}/tmp/yarn-nm-recovery yarn.nodemanager.recovery.supervised NodeManager是否在监控下运行。开启此特性后NodeManager在退出后不会清理containers,NodeManager会假设自己会立即重启和恢复containers。
第三方jar包跨平台(x86、TaiShan)支持 问题 用户自己写的jar包(例如自定义udf包)区分x86和TaiShan版本,如何让Spark2x支持其正常运行。 回答 第三方jar包(例如自定义udf)区分x86和TaiShan版本时,混合使用方案: 进入到服务端Spark2x
表1 下载到远端节点配置参数 参数名称 样例 参数说明 主机IP x.x.x.x 远端节点的IP地址。 说明: 远端节点的平台类型需要与所下载客户端的平台类型一致,否则可能导致安装客户端失败。 主机端口 22 远端节点的主机端口。 登录用户名称 xxx 登录远端节点的用户名称。
第三方jar包跨平台(x86、TaiShan)支持 问题 用户自己写的jar包(例如自定义udf包)区分x86和TaiShan版本,如何让Spark2x支持其正常运行。 回答 第三方jar包(例如自定义udf)区分x86和TaiShan版本时,混合使用方案: 进入到服务端Spark2x
pReduce高10到100倍的计算能力。Spark可以使用HDFS作为底层存储,使用户能够快速地从MapReduce切换到Spark计算平台上去。Spark提供一站式数据分析能力,包括小批量流式处理、离线批处理、SQL查询、数据挖掘等,用户可以在同一个应用中无缝结合使用这些能力
log-all.log IoTDB服务全部日志。 log-error.log IoTDB服务错误日志。 log-measure.log IoTDB服务监控日志。 log-query-debug.log IoTDB查询DEBUG日志。 log-query-frequency.log IoTDB查询频率日志。
beeline不打印日志的问题 解决Yarn页面上active node数目不对问题 解决RM线程数过多导致RM页面打开慢问题 支持OBS监控 OBS包升级 解决hive-jdbc并发插入10条数据时部分数据未插入问题 解决hive偶现报kryo反序列化失败问题 解决Spark jobhistory内存泄漏问题
RPC处理平均时间”,单击“default”规则所在行的“操作”列的“修改”,将“紧急”或“重要”告警级别对应的“阈值”修改为告警出现后1天内监控值的峰值的150%,并单击“确定”保存。 等待5分钟,查看该告警是否自动清除。 是,处理完毕。 否,执行6。 查看Guardian TokenServer内存设置是否过小。
菜单,在定位信息中确认告警上报的Znode。 选择“集群 > 待操作集群的名称 > 服务 > ZooKeeper”,单击“资源”,在精细化监控“资源使用(按二级Znode)”中,单击“按容量”查看顶级Znode目录是否被写入较多数据。 是,记录被写入较多数据的目录,执行3。 否,执行5。
”,单击图表区域右上角的下拉菜单,选择“定制 > 服务 > 处在RIT状态的region数”,单击“确定”,查看该图表中“处在RIT状态达到阈值时长的region数”监控项是否在连续3个检测周期内检测到值。(默认阈值为60秒)。 是,执行3。 否,执行7。 图1 处在RIT状态的region数 选择“集群 >