检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Yarn通过Guardian访问OBS 参考配置Guardian服务对接OBS完成Guardian对接OBS后,即可在集群客户端执行Yarn任务访问OBS。 Yarn对接OBS 以客户端安装用户登录安装了Yarn客户端的节点。 执行以下命令,切换到客户端安装目录。 cd 客户端安装目录
安装补丁 安装补丁 登录MRS管理控制台。 选择“现有集群”,选中需要安装补丁的集群并单击集群名,进入集群基本信息页面。 进入“补丁管理”页面,在操作列表中单击“安装”。 进入“警告”页面,阅读补丁说明,并单击“确定”。 图1 安装补丁 请确保集群允许root登录,并且所有节点的root密码一致。
多CPU内核下的MapReduce调优配置 操作场景 当CPU内核数很多时,如CPU内核为磁盘数的3倍时的调优配置。 操作步骤 以下参数有如下两个配置入口: 服务器端配置 进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 客户端配置 直接在客户端中修改相应的配置文件。
默认配置修改 默认会连接Spark的Executor所在节点本地的TSD进程,在MRS中一般使用默认配置即可,无需修改。 表1 OpenTSDB数据源相关配置 配置名 描述 样例值 spark.sql.datasource.opentsdb.host 连接的TSD进程地址 空(默认值)
存在于转储服务器,本地审计日志可能丢失。 可能原因 网络连接异常。 转储服务器的用户名、密码或转储目录等不满足配置条件。 转储目录的磁盘空间不足。 处理步骤 检查用户名、密码和转储目录是否正确。 在MRS Manager查看转储配置页面中当前的第三方服务器用户名、密码和转储目录是否正确。
”,等待补丁安装成功。 查看补丁状态,补丁安装完成后,按照补丁说明进行重启组件和安装客户端补丁等操作。 若集群中存在被隔离的主机,集群中被隔离的主机节点不会进行补丁安装,安装完成后补丁状态更新为部分安装成功。隔离节点修复并取消隔离后,可以再次单击“安装”,此时补丁安装仅对取消隔离的节点实施。对于MRS
补丁安装后滚动重启服务来完成补丁安装,可以减少对集群业务的影响,但相比普通方式安装耗时更久。 滚动安装补丁功能关闭:补丁安装前会停止服务,补丁安装后再重新启动服务来完成补丁安装,会造成集群和服务暂时中断,但相比滚动方式安装补丁耗时更短。 少于2个Master节点和少于3个Core节点的集群不支持滚动方式安装补丁。
若当前运行环境与OpenTSDB安装环境处于同一个VPC网络中,使用连接的TSD实例IP或主机名均可。 若当前运行环境与OpenTSDB安装环境位于不同VPC中,仅可使用主机名进行访问。同时需在连接的TSD实例上绑定EIP,并把该EIP及该TSD实例的主机名配置到hosts中,linux
在关系列表的“操作”列可以对已添加的关系进行编辑和删除。 对于没有配置在OBS权限控制的用户,且没有配置AK、SK时,将以集群配置的委托在“对象存储服务”项目下所拥有的权限访问OBS。 无论用户是否配置OBS权限控制,只要配置AK、SK时,将以AK、SK的权限访问OBS。 映射
配置Flink通过Guardian访问OBS 参考配置Guardian服务对接OBS完成Guardian对接OBS后,即可在Flink客户端访问OBS并行文件系统并运行作业。 Flink对接OBS 使用安装客户端的用户登录Flink客户端安装节点。 执行如下命令初始化环境变量。 source
修改集群服务配置参数 用户可通过MRS管理控制台的集群组件配置页面修改各组件的配置参数。 登录MRS控制台,在左侧导航栏选择“现有集群”,单击集群名称。 选择“组件管理 > 服务名称 > 服务配置”。 下拉列表默认显示“基础配置”,如果需要修改更多参数,请选择“全部配置”,界面上将
据库名/表名"; 配置Spark基于Hive MetaStore方式对接OBS: 已完成配置Hive基于MetaStore方式对接OBS相关配置操作。 登录FusionInsight Manager,选择“集群 > 服务 > Spark > 配置 > 全部配置 ”。 在左侧的导航列表中选择“SparkResource
用户加密 配置跨Manager互信,当前Kerberos服务端仅支持并使用“aes256-cts-hmac-sha1-96:normal”和“aes128-cts-hmac-sha1-96:normal”加密类型加密跨域使用的用户,不支持修改。 用户认证 配置跨Manager
配置Presto通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后,Presto即可通过presto_cli.sh客户端创建表存储在OBS中。 Presto对接OBS 未开启Kerberos认证的集群 使用客户端安装用户,登录已安装客户端的节点。
配置Doris SQL防御 操作场景 用户可以在Manager界面配置Doris的SQL防御规则,根据业务调整对应SQL防御规则的参数。 该功能仅MRS 3.5.0及之后版本支持。 前提条件 待连接Doris数据库的节点与MRS集群网络互通。 FE和BE实例状态正常。 已安装MySQL客户端。
退订MRS集群后在ECS中退订弹性云服务器时报异常如何处理? 问: 退订MRS集群后,在ECS中退订弹性云服务器时报异常如何处理? 答: 在使用的MRS集群中查询该弹性云服务器的ID确认没有使用。 在ECS控制台上找到需要退订的服务器单击“MRS使用中”将机器进行解锁。 再次单击“退订”。
快速配置Spark参数 概述 本节介绍Spark2x使用过程中快速配置常用参数和不建议修改的配置参数。 快速配置常用参数 其他参数在安装集群时已进行了适配,以下参数需要根据使用场景进行调整。以下参数除特别指出外,一般在Spark2x客户端的“spark-defaults.conf”文件中配置。
配置HDFS通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后,即可在HDFS客户端查看和创建OBS文件目录。 HDFS对接OBS 以客户端安装用户登录安装了HDFS客户端的节点。 执行以下命令,切换到客户端安装目录。 cd 客户端安装目录
使用。 可执行6验证加密是否配置成功。 验证加密是否配置成功 仅当所配置的空表允许写入测试数据时可执行该操作。 以客户端安装用户,登录安装客户端的节点。切换到客户端安装目录,例如:/opt/client。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env
32767:from all lookup default 没有配置ntp外部服务器时只会有一条om路由信息“om_rt”。 本章节仅适用于MRS 3.x及以后版本。 如果FusionInsight Manager创建的路由信息与企业网络规划配置的路由信息发生冲突时,集群管理员可以使用“autoroute