检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
若还有问题,需联系技术支持人员做进一步分析。 认证失败样例 解决认证出现如下关键字:clock skew too great的问题 检查集群时间。 检查开发环境所在机器的时间,与集群时间的偏差应小于5分钟。 解决认证出现如下关键字:(Receive time out) can
来越多,数据产生的速度越来越快。传统的数据处理技术,比如说单机存储,关系数据库已经无法解决这些新的大数据问题。为解决以上大数据处理问题,Apache基金会推出了Hadoop大数据处理的开源解决方案。Hadoop是一个开源分布式计算平台,可以充分利用集群的计算和存储能力,完成海量数
如果用户安装安全集群需要使用kerberos认证和security cookie认证。根据日志提示,发现配置文件中“security.kerberos.login.keytab :”配置项错误,未进行安全配置。 解决办法 从MRS上下载用户的keytab认证文件,并放置到Flink客户端所在节点的某个目录下。
密钥管理系统通过HTTP REST API对外提供密钥管理服务,接口请参考官网: http://hadoop.apache.org/docs/r3.1.1/hadoop-kms/index.html 由于REST API接口做了安全加固,防止脚本注入攻击。通过REST API的接口,无法创建包含
果不同源,默认不能相互访问;除非被访问者在其服务端显示指定访问者的来源。 安全加固:响应头“Access-Control-Allow-Origin”头域默认配置为YARN集群ResourceManager的IP地址,如果源不是来自YARN的,则不能互相访问。 防范敏感信息泄露:
log)内容是不加密的。如果用户需要对其进行加密,可通过该章节操作进行配置。 设置HFile和WAL为SMS4加密或AES加密方式对系统的影响较大,一旦操作失误会导致数据丢失,不推荐使用此功能。 使用BulkLoad批量导入的数据不支持加密。 本章节内容仅适用于MRS 3.x及之后版本。 加密HFile和WAL内容
regionserver.hfile.durable.sync” 当提升性能时,缺点是对于DataNode(默认是3个)同时故障时,存在小概率数据丢失的现象。对数据可靠性要求高的场景请慎重配置。 本章节适用于MRS 3.x及之后版本。 操作步骤 参数入口: 在FusionInsight Manager系统中,选择“集群
regionserver.hfile.durable.sync” 当提升性能时,缺点是对于DataNode(默认是3个)同时故障时,存在小概率数据丢失的现象。对数据可靠性要求高的场景请慎重配置。 操作步骤 参数入口: 在FusionInsight Manager系统中,选择“集群 > 服务
果不同源,默认不能相互访问;除非被访问者在其服务端显示指定访问者的来源。 安全加固:响应头“Access-Control-Allow-Origin”头域默认配置为YARN集群ResourceManager的IP地址,如果源不是来自YARN的,则不能互相访问。 防范敏感信息泄露: 适用于MRS
认证。 针对MRS 3.x之前版本,Flink不支持使用security cookie方式进行认证。 表1 安全认证方式 安全认证方式 说明 配置方法 Kerberos认证 当前只支持keytab认证方式。 从FusionInsight Manager下载用户keytab,并将k
ALM-16047 HiveServer已从Zookeeper注销 告警解释 系统每60秒周期性检测Hive服务,若Hive在Zookeeper上的注册信息丢失,或者Hive无法连接上Zookeeper,将会发出告警。 告警属性 告警ID 告警级别 是否自动清除 16047 重要 是 告警参数 参数名称
Manager上配置NAS备份进程不结束,导致节点内存升高。 NodeAgent偶现会修改nodagent.properties,有可能导致文件丢失。 MRS集群节点内存占满,磁盘出现踢盘,盘分区丢失。 LdapServer数据一致性检查增强。LDAP主备关键数据不一致,未能及时上报告警。 Kafka Topi
产生告警的NameService名称。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 HDFS存储数据丢失,HDFS可能会进入安全模式,无法提供写服务。丢失的块数据无法恢复。 可能原因 DataNode实例异常。 数据被删除。 写入文件的副本数大于DataNode的节点数。
准备工作 本迁移将指导适用于多种不同场景下的HDFS、HBase、Hive数据向MRS集群的迁移工作。由于数据迁移过程中可能存在数据覆盖、丢失、损坏等风险,因此本指导只作为参考,具体的数据迁移方案的制定及实施需要华为云支持人员协同完成。 数据迁移前源集群的准备工作,目的是防止在数
lity.zookeeper.client.acl”默认为“creator”,仅创建者有权限访问,新用户无法访问ZooKeeper上的目录导致yarn-session.sh执行失败。 解决方法如下: 修改客户端配置文件“conf/flink-conf.yaml”中配置项“high-availability
2020-09-21 解决的问题 MRS 2.1.0.10 修复问题列表: MRS Manager 解决安装补丁后扩容会导致capacity-schedule.xml中新增的队列配置丢失问题 回退全链路监控 大数据组件 解决spark操作hive赋权失败问题 解决不指定队列,默认提交
tablet数量监控和告警特性 解决的问题 解决的问题: Impala 解决[IMPALA-6671]问题 解决[IMPALA-8737]问题 解决[IMPALA-11296]问题 解决[IMPALA-12267]问题 解决[IMPALA-5476]问题 解决[IMPALA-9907]问题 解决[IMPALA-9787]问题
0及以后版本。 HetuEngine查询容错执行能力介绍 当集群中的节点因网络、硬件或软件问题发生故障时,在故障节点上运行的所有查询任务都将丢失。这可能会严重影响集群生产力并造成资源浪费,尤其对于长时间运行的查询影响较大。HetuEngine提供一种故障恢复机制,即容错执行能力。集
产生告警的主机名。 对系统的影响 产生告警的Flume Agent实例无法提供正常功能,定义在该实例下的数据传输任务暂时中断,对于实时数据传输,会丢失实时数据。 可能原因 JAVA_HOME目录不存在或JAVA权限异常。 Flume Agent目录权限异常。 处理步骤 检查Flume Agent配置文件。
产生告警的主机名。 对系统的影响 diskmgt磁盘监控服务不可用时,影响系统对磁盘信息和分区信息的监控,如设备分区文件系统只读检测、设备分区丢失检测、磁盘分区扩容检测等。 可能原因 diskmgt磁盘监控服务不存在。 diskmgt磁盘监控服务未启动。 处理步骤 检查diskmgt磁盘监控服务是否存在。