检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在弹出的窗口中,在指定一次执行记录前单击,打开此次任务运行的日志信息。 还可在任务列表指定任务的“操作”列,执行表1中的更多维护管理操作。 表1 更多维护管理功能 操作入口 说明 “更多 > 即时备份”或“执行” 启动处于准备或失败状态的备份恢复任务。已成功执行过的恢复任务不能重新运行。 “配置”
手动注册的客户端信息也可以手动进行修改或者删除。 在“客户端管理”界面选择待操作的客户端,单击“导出全部”可导出所有已注册的客户端信息到本地。 客户端管理界面上组件列表栏只展示有真实客户端的组件,因此部分没有客户端的组件和客户端特殊的组件不会显示在组件列表栏。 父主题: 管理MRS集群客户端
问等相关组件的权限时,需由admin(Manager管理员)用户进行授权,给提交作业用户赋予相关组件权限。 使用admin用户登录集群Manager界面。 参考管理MRS集群角色内容,增加用户具体需要的组件权限的角色。 参考管理MRS集群用户组修改提交作业用户所属的用户组,将新增的组件角色加入到该用户组中。
管理MRS集群客户端 服务端配置过期后更新MRS集群客户端 查看已安装的MRS集群客户端 批量升级MRS集群客户端 父主题: 管理MRS集群
管理MRS集群SQL防御规则 SQL防御概述 添加MRS SQL防御规则 配置Hive SQL防御规则 配置ClickHouse SQL防御规则 配置HetuEngine SQL防御规则 配置Spark SQL防御规则 配置Doris SQL防御 父主题: 管理MRS集群
管理MRS集群静态服务资源 静态服务资源概述 配置MRS集群静态资源 查看MRS集群静态资源 父主题: 管理MRS集群
管理Kafka Topic中的消息 操作场景 用户可以根据业务需要,使用MRS集群客户端,在Kafka主题中产生消息,或消费消息。 前提条件 已安装集群客户端。 启用Kerberos认证的集群,需要提前在Manager中创建业务用户,用户拥有在Kafka主题中执行相应操作的权限。
Hue常用配置参数 参数入口 参数入口,请参考修改集群服务配置参数。 参数说明 表1 Hue常用参数 配置参数 说明 缺省值 范围 HANDLER_ACCESSLOG_LEVEL 表示Hue的访问日志级别。 DEBUG ERROR WARN INFO DEBUG HANDLER_AUDITSLOG_LEVEL
管理Loader数据连接 操作场景 Loader页面支持创建、查看、编辑和删除连接。 创建连接 登录服务页面: 登录FusionInsight Manager,具体请参见访问集群Manager,选择“集群 > 服务”。 选择“Loader”,在“Loader WebUI”右侧,单击链接,打开Loader的WebUI。
k节点。 Master节点:集群中的管理节点。分布式系统的Master进程和Manager以及数据库均部署在该节点;该类型节点不可扩容。该类型节点的处理能力决定了整个集群的管理上限,MRS服务支持将Master节点规格提高,以支持更大集群的管理。 Core节点:支持存储和计算两种
配置Doris表的列权限管理 操作场景 在FE的自定义配置项中添加“enable_col_auth”参数开启列授权后,Doris支持对列级别权限的管理。 该特性仅MRS 3.3.1及之后版本支持。 表的列级别的授权仅支持Select_priv权限。 必须使用具有Grant_priv权限的用户进行列权限的管理操作。
Manager管理界面。 安全组 集群的安全组名称。 表3 MRS集群运维管理 参数 参数说明 集群管理页面 Manager页面入口,具体操作请参见访问MRS集群Manager。 IAM用户同步 可以将IAM侧用户(包含联邦用户)信息同步至MRS集群,用于集群管理。具体请参见IAM用户同步MRS集群说明。
Admin:Ranger安全管理员,可查看所有页面内容,进行服务权限管理插件及权限访问控制策略的管理操作,可查看审计信息内容,可进行用户类型设置。 Auditor:Ranger审计管理员,可查看服务权限管理插件及权限访问控制策略的内容。 User:普通用户,可以被Ranger管理员赋予具体权限。
MS的特性,但在设计上完全不同,它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性,适用于离线和在线的消息消费,如常规的消息收集、网站活性跟踪、聚合统计系统运营数据(监控数据)、日志收集等大量数据的互联网服务的数据收集场景。 Kafka结构 生产者(Producer)将消
credentials (49); Account locked 前提条件 已确认主管理节点IP地址。 修改LDAP管理账户密码 以omm用户通过管理节点IP登录主管理节点。 执行以下命令,切换到目录。 cd ${BIGDATA_HOME}/om-server/om/meta-0.0.1-SNA
pagination.enable 是否开启Yarn WebUI的任务列表后台分页功能。 true yarn.resourcemanager.webapp.pagination.threshold 开启Yarn WebUI的任务列表后台分页功能后,每个分页显示的最大作业数量。 5000 显示更多
M)反应缓慢,最终超时失败。 此任务的问题是,task数量变多时,AM管理的对象也线性增长,因此就需要更多的内存来管理。AM默认分配的内存堆大小是1GB。 操作步骤 通过调大如下的参数来进行AM调优。 参数入口: 在Yarn客户端的“mapred-site.xml”配置文件中调整如下参数。“mapred-site
M)反应缓慢,最终超时失败。 此任务的问题是,task数量变多时,AM管理的对象也线性增长,因此就需要更多的内存来管理。AM默认分配的内存堆大小是1GB。 操作步骤 通过调大如下的参数来进行AM调优。 参数入口: 在Yarn客户端的“mapred-site.xml”配置文件中调整如下参数。“mapred-site
Spark常用命令介绍 Spark命令详细的使用方法参考官方网站的描述:http://spark.apache.org/docs/latest/quick-start.html。 常用命令 Shell命令执行方法: 进入Spark客户端目录。 初始化环境变量。 source /o
HDFS Java API接口介绍 HDFS完整和详细的接口可以直接参考官方网站上的描述: http://hadoop.apache.org/docs/r3.1.1/api/index.html HDFS常用接口 HDFS常用的Java类有以下几个: FileSystem:是客户端应用的核心类。常用接口参见表1。