检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
申请一台Windows的ECS访问MRS集群操作Presto。申请ECS访问MRS集群的步骤如下: 在“现有集群”列表中,单击已创建的集群名称。 记录集群的“可用分区”、“虚拟私有云”,以及Master节点的“默认安全组”。 在弹性云服务管理控制台,创建一个新的弹性云服务器。 弹性云服务器的“可用
配置审计日志转储至SFTP服务器(MRS 3.x及之后版本) Manager的审计日志默认保存在数据库中,如果长期保留可能引起数据目录的磁盘空间不足问题,管理员如果需要将审计日志保存到其他归档服务器,可以在FusionInsight Manager设置转储参数及时自动转储,便于管理审计日志信息。
选择“委托 > 创建委托”,在创建委托页面设置如下参数,并单击“下一步”: 委托名称:填写委托名称,例如:mrs_ecs_obs。 委托类型:选择“云服务”。 云服务:选择“弹性云服务器 ECS 裸金属服务器 BMS”。 持续时间:选择“永久”。 在弹出授权页面的搜索框内,搜索“OBS O
AS(Authentication Server): 认证服务器,用于验证客户端账号密码信息,并生成TGT(Ticket Granting Ticket) 票据授权票据。 TGS(Ticket Granting Server): 票据授权服务器,用于通过TGT生成访问服务的服务票据ST。 图2
目录“/flume/test”。 前提条件 已成功安装集群、HDFS及Flume服务、Flume客户端。 已创建用户flume_hdfs并授权验证日志时操作的HDFS目录和数据。 操作步骤 分别生成Flume角色服务端和客户端的证书和信任列表。 以omm用户登录Flume服务端所
表1 参数说明 参数 描述 默认值 hadoop.rpc.protection 须知: 设置后需要重启服务生效,且不支持滚动重启。 设置后需要重新下载客户端配置,否则HDFS无法提供读写服务。 设置Hadoop中各模块的RPC通道是否加密。通道包括: 客户端访问HDFS的RPC通道。
项在两种模式中相同。 新安装的安全模式集群默认即安装了Ranger服务并启用了Ranger鉴权,用户可以通过组件的权限插件对组件资源的访问设置细粒度的安全访问策略。若不需使用Ranger进行鉴权,管理员可在服务页面手动停用Ranger鉴权,停用Ranger鉴权后,访问组件资源的时
表1 参数说明 参数 描述 默认值 hadoop.rpc.protection 须知: 设置后需要重启服务生效,且不支持滚动重启。 设置后需要重新下载客户端配置,否则HDFS无法提供读写服务。 设置Hadoop中各模块的RPC通道是否加密。通道包括: 客户端访问HDFS的RPC通道。
Loader作业运行属性 参数 说明 抽取并发数 设置map任务的个数。 加载(写入)并发数 设置reduce任务的个数。 该参数只有在目的字段为Hbase和Hive时才会显示。 单个分片的最大错误记录数 设置一个错误阈值,如果单个map任务的错误记录超过设置阈值则任务自动结束,已经获取的数据不回退。
细粒度访问权限。 日志记录 用于收集集群创建失败及扩缩容失败的日志。 通讯安全授权 展示安全授权状态,可关闭和开启安全授权。关闭安全授权属于高危操作,请谨慎处理。详细信息请参考配置MRS集群安全通信授权。 表4 MRS集群计费信息 参数 参数说明 付费类型 显示创建集群时的付费类
”。 操作步骤 Spark on HBase授权 用户如果需要使用类似SQL语句的方式来操作HBase表,授予权限后可以使用SparkSQL访问HBase表。以授予用户在SparkSQL中查询HBase表的权限为例,操作步骤如下: 设置“spark.yarn.security.credentials
”。 操作步骤 Spark on HBase授权 用户如果需要使用类似SQL语句的方式来操作HBase表,授予权限后可以使用SparkSQL访问HBase表。以授予用户在SparkSQL中查询HBase表的权限为例,操作步骤如下: 设置“spark.yarn.security.credentials
tion)方法创建Connection对象。传递的参数为上一步创建的Configuration。 Connection封装了底层与各实际服务器的连接以及与ZooKeeper的连接。Connection通过ConnectionFactory类实例化。创建Connection是重量级
tion)方法创建Connection对象。传递的参数为上一步创建的Configuration。 Connection封装了底层与各实际服务器的连接以及与ZooKeeper的连接。Connection通过ConnectionFactory类实例化。创建Connection是重量级
tion)方法创建Connection对象。传递的参数为上一步创建的Configuration。 Connection封装了底层与各实际服务器的连接以及与ZooKeeper的连接。Connection通过ConnectionFactory类实例化。创建Connection是重量级
tion)方法创建Connection对象。传递的参数为上一步创建的Configuration。 Connection封装了底层与各实际服务器的连接以及与ZooKeeper的连接。Connection通过ConnectionFactory类实例化。创建Connection是重量级
tion)方法创建Connection对象。传递的参数为上一步创建的Configuration。 Connection封装了底层与各实际服务器的连接以及与ZooKeeper的连接。Connection通过ConnectionFactory类实例化。创建Connection是重量级
xml”添加自定义参数,设置“名称”为“hive.restrict.create.grant.external.table”,“值”为“true”。 选择“MetaStore(角色) > 自定义”,对参数文件“hivemetastore-site.xml”添加自定义参数,设置“名称”为“hive
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 大量进程连接到ZooKeeper,导致ZooKeeper连接数被占满,无法对外正常提供服务,导致上游组件(例如Yarn、Flink、Spark等)服务异常。 可能原因 客户端大量进程连接到ZooKeeper,或者自定义阈值设置不合理。 处理步骤
在“配置资源权限”列表,选择待增加权限的集群,为角色选择服务权限。 在设置组件的权限时,可通过右上角的“搜索”框输入资源名称,然后单击搜索图标显示搜索结果。 搜索范围仅包含当前权限目录,无法搜索子目录。搜索关键字支持模糊搜索,不区分大小写。 对于已启用Ranger授权的组件(HDFS与Yarn除外),Mana