检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
“文件浏览器”的“主页”默认进入当前登录用户的主目录。界面将显示目录中的子目录或文件的以下信息: 表1 HDFS文件属性介绍 属性名 描述 名称 表示目录或文件的名称。 大小 表示文件的大小。 用户 表示目录或文件的属主。 组 表示目录或文件的属组。 权限 表示目录或文件的权限设置。
输入默认用户名“admin”及创建集群时设置的密码,单击“登录”进入MRS Manager页面。 在MRS管理控制台,在“现有集群”列表,单击指定的集群名称,进入集群信息页面。 如需给其他用户开通访问MRS Manager的权限,请执行6-9,添加对应用户访问公网的IP地址为可信范围。 单击弹性公网IP后边的“添加安全组规则”,如图3所示。
原因分析:MergeTree的merge的速度跟不上目录生成的速度,数据目录越来越多就会抛出这个异常。 建议 一次只插入一个分区内的数据 如果数据属于不同的分区,则每次插入,不同分区的数据会独立生成part文件,导致part总数量膨胀,建议一批插入的数据属于同一个分区。 写入速率
是否可自动清除 45437 次要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称 服务名 产生告警的服务名称 角色名 产生告警的角色名称 表名 产生告警的表名、库名 主机名 产生告警的主机名 对系统的影响 ClickHouse表part数量过多可能导致业务报错。 可能原因
RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 OLdap资源异常,Manager认证服务不可用,无法对Web上层服务提供安全认证和用户管理功能,可能引起无法登录Manager。 可能原因 Manager中LdapServer进程故障。 处理步骤
通过典型场景,您可以快速学习和掌握HBase的开发过程,并且对关键的接口函数有所了解。 场景说明 假定用户开发一个应用程序,用于管理企业中的使用A业务的用户信息,如表1所示,A业务操作流程如下: 创建用户信息表。 在用户信息中新增用户的学历、职称等信息。 根据用户编号查询用户姓名和地址。
如果用户需要在统一的运维网管平台查看集群的告警、监控数据,管理员可以在FusionInsight Manager使用SNMP服务将相关数据上报到网管平台。 前提条件 对接服务器对应的弹性云服务器需要和MRS集群的Master节点在相同的VPC,且Master节点可以访问对接服务器的IP地址和指定端口。
MergeTree引擎在建表的时候支持列字段和表级的TTL。 当列字段中的值过期时,ClickHouse会将其替换成数据类型的默认值。如果分区内,某一列的所有值均已过期,则ClickHouse会从文件系统中删除这个分区目录下的列文件。当表内的数据过期时,ClickHouse会删除所有对应的行。 在列上配置TTL:
查看MRS集群详情失败 问题现象 在MRS管理控制台,单击集群名称,进入MRS集群详情页面失败。 原因分析 用户MRS集群选的是企业项目A(包含MRS FULLACCESS和ECS FULLACCESS权限)。 VPC选的是企业项目B。 安全组选的是企业项目A。 IAM这边加入的组没有任何权限设置。
创建Kafka Topic 操作场景 用户可以根据业务需要,使用集群客户端或KafkaUI创建Kafka的主题。启用Kerberos认证的集群,需要拥有管理Kafka主题的权限。 前提条件 已安装客户端。 使用Kafka客户端创建Kafka Topic 进入ZooKeeper实例页面:
Manager管理界面,修改JDBCServer的参数“spark.authenticate.enableSaslEncryption”值为“false”,并重启对应的实例。 客户端作业: 客户端应用在提交应用的时候,修改spark-defaults.conf配置文件的“spark
数仅查询热存储中的数据,则只返回更新的字段。如果要返回整行的数据,则必须在不指定HOT_ONLY或TimeRange参数的情况下执行查询,或者确保TimeRange指定的时间范围涵盖从插入行的时间点到最后更新行的时间点的时间段。因此,建议不要更新存储在冷存储中的数据。 随机查询Get。
对集群的部分安全信息(例如所有数据库用户密码、密钥文件访问密码等)进行加密存储。在集群安装成功后,如果原始密钥不慎意外泄露或者需要使用新的密钥,系统管理员可以通过以下操作手动更改密钥值。 对系统的影响 更新集群密钥后,集群中新增加一个随机生成的新密钥,用于加密解密新保存的数据。旧
HASH Fragment会在固定数量的节点上执行,输入数据通过哈希函数进行分布。 ROUND_ROBIN Fragment会在固定数量的节点上执行,片段在固定数量的节点上执行,输入数据以轮询方式进行分布。 BROADCAST Fragment会在固定数量的节点上执行,输入数据被广播到所有的节点。
STRICT,对列的修改,仅对表的元数据产生作用。 列修改命令只能修改表/分区的元数据,而不会修改数据本身。用户应确保表/分区的实际数据布局符合元数据定义。 不支持更改表的分区列/桶列,也不支持更改ORC表。 修改表或分区的存储位置。 ALTER TABLE table_name
监控安全风险 MRS的Manager界面提供集群级别的监控能力,帮助用户监控集群中大数据组件和节点的健康状态,同时提供告警通知能力,用户可以实时掌握MRS集群的各项指标、健康度。 更多详情请参见查看和定制集群监控指标和管理组件和主机监控。 父主题: 安全
在实际应用中,很多场景是查询某一个列值为“XXX”的数据。HBase提供了Filter特性去支持这样的查询,它的原理是:按照RowKey的顺序,去遍历所有可能的数据,再依次去匹配那一列的值,直到获取到所需要的数据。可以看出,可能只是为了获取一行数据,它却扫描了很多不必要的数据。因此,如果对于这样的查询请求非常频繁
修改OMS数据库管理员密码 建议管理员定期修改OMS数据库管理员的密码,以提升系统运维安全性。 使用root用户登录主管理节点。 ommdba用户密码不支持在备管理节点修改,否则集群无法正常工作。只需在主管理节点执行修改操作,无需在备管理节点操作。 执行以下命令,切换用户。 sudo
若存在运行中的计算实例需重启HetuEngine计算实例。 使用HetuEngine管理员用户登录Manager,选择“集群 > 服务 > HetuEngine”,进入HetuEngine服务页面。 在“概览”页签下的“基本信息”区域,单击“HSConsole WebUI”后的链接,进入HSConsole界面。
x86_64:可以部署在X86平台的客户端软件包。 aarch64:可以部署在鲲鹏服务器的客户端软件包。 x86_64 仅保存到如下路径 指定客户端软件包在主OMS节点的存放路径。 勾选“仅保存到如下路径”:自定义客户端软件包在主OMS节点的存放路径,omm用户需拥有该目录的读、写与执行权限。