检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
告警级别 可自动清除 27004 致命 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 Local DBService HA Name 本地DBService HA名称。 Peer
Manager提供系统中各组件的权限集中管理功能。 Manager引入角色的概念,采用RBAC的方式对系统进行权限管理,集中呈现和管理系统中各组件零散的权限功能,并且将各个组件的权限以权限集合(即角色)的形式组织,形成统一的系统权限概念。这样一方面对普通用户屏蔽了内部的权限管理细节,另一方
数据过滤,通过设置一些过滤条件来实现,如设置RowKey、列名或者列值的过滤条件。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseExample”类的testFilterList方法中。 样例代码获取方式请参考获取MRS应用开发样例工程。
权限控制:可以按照用户粒度设置数据库或者表的操作权限,保障数据的安全性。 数据备份与恢复:提供了数据备份导出与导入恢复机制,满足生产环境的要求。 分布式管理:提供集群模式,能够自动管理多个数据库节点。 列式存储与数据压缩 ClickHouse是一款使用列式存储的数据库,数据按列进行组织,属于同一列的数据会被保存
如何准备MRS的数据源? MRS既可以处理OBS中的数据,也可以处理HDFS中的数据。在使用MRS分析数据前,需要先准备数据。 将本地数据上传OBS。 登录OBS管理控制台。 在OBS上创建userdata并行文件系统,然后在userdata文件系统下创建program、input、output和log文件夹。
MRS管理控制台:用户可以通过MRS管理控制台的集群管理页面,进行集群概览查看、节点管理、组件管理、告警管理、文件管理、作业管理等操作。 MRS集群Manager:Manager是MRS的运维管理系统,为部署在集群内的服务提供统一的集群管理能力。 MRS管理控制台与MRS集群Manager页面的区别和联系请参考表1。
参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 监控指标转储失败会影响上层管理系统无法获取到FusionInsight Manager系统的监控指标。 可能原因 无法连接服务器。
创建MRS IAM自定义权限策略 如果系统预置的MRS权限,不满足您的授权要求,可以创建自定义策略。自定义策略中可以添加的授权项(Action)请参考策略及授权项说明。 目前支持以下两种方式创建自定义策略: 可视化视图创建自定义策略:无需了解策略语法,按可视化视图导航栏选择云服务
数信息中2查询到的cluster集群标识符。 default本地表所在的数据库名称。 test为本地表名称,该例中为2中创建的表名。 (可选的)分片键(sharding key) 该键与config.xml中配置的分片权重(weight)一同决定写入分布式表时的路由,即数据最终落
year:仅显示日期字符串的年份部分,并将月份和日期默认为01/01。 Custom:可使用任何有效返回与被屏蔽的列中的数据类型相同的数据类型来自定义策略。 如需添加多列的脱敏策略,可单击按钮添加。 单击“Add”,在策略列表可查看策略的基本信息。 用户通过Hive客户端对配置了数据脱敏策略的表执行
Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 更新用户(组)与IAM委托的映射关系成功 400 更新用户(组)与IAM委托的映射关系失败 错误码 请参见错误码。 父主题:
配置YARN-Client和YARN-Cluster不同模式下的环境变量 配置场景 当前,在YARN-Client和YARN-Cluster模式下,两种模式的客户端存在冲突的配置,即当客户端为一种模式的配置时,会导致在另一种模式下提交任务失败。 为避免出现如上情况,添加表1中的配置项,避免两种模式下来回切换参数,提升软件易用性。
Hive ORC数据存储优化 操作场景 “ORC”是一种高效的列存储格式,在压缩比和读取效率上优于其他文件格式。 建议使用“ORC”作为Hive表默认的存储格式。 前提条件 已登录Hive客户端,具体操作请参见Hive客户端使用实践。 操作步骤 推荐:使用“SNAPPY”压缩,适用于压缩比和读取效率要求均衡场景。
为MRS集群配置OBS访问权限的委托,实现使用ECS自动获取的临时AK/SK访问OBS。避免了AK/SK直接暴露在配置文件中的风险。 在IAM中创建一个只允许访问某一OBS桶中的日志文件的策略,并创建一个绑定该策略权限的委托。 在MRS集群中,新建的委托与MRS集群中的用户组A进行绑定,即
Flink与其他组件的关系 Flink与Yarn的关系 Flink支持基于Yarn管理的集群模式,在该模式下,Flink作为Yarn上的一个应用,提交到Yarn上执行。 Flink基于Yarn的集群部署如图1所示。 图1 Flink基于Yarn的集群部署 Flink Yarn C
提升传输速度。可以配置将指定的行数作为一个Event,而不仅是一行,提高了代码的执行效率以及减少写入磁盘的次数。 传输超大二进制文件。Flume根据当前内存情况,自动调整传输超大二进制文件的内存占用情况,不会导致Out of Memory(OOM)的出现。 支持定制传输前后准备工
通过选择集群所建的区域及使用的云资源规格,一键式购买适合企业业务的MRS集群。MRS服务会根据用户选择的集群类型、版本和节点规格,帮助客户自动完成华为云企业级大数据平台的安装部署和参数调优。 MRS服务为客户提供完全可控的大数据集群,客户在创建时可设置虚拟机的登录方式(密码或者
可设置与管理已创建的表的数据操作权限。根据需要勾选相应database的权限,如果要精确到表,可以单击database名称,勾选相应表的权限。 Hive角色管理支持授予Hive管理员权限、访问表和视图的权限,不支持数据库的授权。 Hive管理员权限不支持管理HDFS的权限。 如
ALM-50207 FE的MySQL端口连接数与允许最大连接数的比值超过阈值 告警解释 系统每30秒周期性检查MySQL端口连接数,当检测到当前连接数与设置的FE最大端口连接数的比值超出阈值(默认值为95%)时产生该告警。当前集群设置的FE最大端口连接数由参数“qe_max_co
据连接的类型为xxx! RDS实例虚拟私有云的ID xxx与集群的虚拟私有云ID xxx不一致! RDS实例子网的ID xxx与集群的子网ID xxx不一致! RDS实例的安全组ID xxx与集群的安全组ID xxx不一致! 集群已经存在相同位置的数据连接,xxx! 数据连接已经被其他集群使用(xxx)