检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Doris SQL防御 操作场景 用户可以在Manager界面配置Doris的SQL防御规则,根据业务调整对应SQL防御规则的参数。 该功能仅MRS 3.5.0及之后版本支持。 前提条件 待连接Doris数据库的节点与MRS集群网络互通。 FE和BE实例状态正常。 已安装MySQL客户端。
密方式,请参考配置Flume加密传输数据采集任务。 前提条件 已安装Flume客户端。 已成功安装集群及Flume服务。 确保集群网络环境安全。 操作步骤 配置Flume角色客户端参数。 使用FusionInsight Manager界面中的Flume配置工具来配置Flume角色客户端参数并生成配置文件。
配置积压告警规则 操作场景 通过KafkaUI可查看并配置需要上报积压告警的规则,当达到配置的积压告警规则要求时,会上报“ALM-38018 Kafka消息积压”告警。 本章节内容仅适用于MRS 3.5.0及之后版本。 配置积压告警规则 进入KafkaUI界面。 使用具有Kafk
服务 > HetuEngine > 配置 > 全部配置 > HetuEngine(服务) > OBS”。 在参数“fs.obs.readahead.policy”中配置参数值为“memArtsCC”。 单击“保存”,在弹窗页面中单击“确定”,保存配置。单击“概览”,选择“更多 > 滚
配置资源池的队列容量策略 添加资源池后,需要为YARN任务队列配置在此资源池中可使用资源的容量策略,队列中的任务才可以正常在这个资源池中执行。每个队列只能配置一个资源池的队列容量策略。用户可以在任何一个资源池中查看队列并配置队列容量策略。配置队列策略后,YARN任务队列与资源池形成关联关系。
HDFS作为Alluxio的底层文件系统 单击“保存配置”,并在弹出窗口中勾选“重新启动受影响的服务和实例。” 单击“确定”重启Alluxio服务。 配置Huawei OBS作为Alluxio的底层文件系统 方法一: 给集群配置有OBS OperateAccess权限的委托,具体请参见配置存算分离集群(委托方式)。
Guardian服务正常,且已开启存算分离,具体请参考配置Guardian服务对接OBS。 已完成Hive对接OBS,具体请参考配置Hive通过Guardian访问OBS。 修改Hive配置 登录FusionInsight Manager,选择“集群 > 服务 > Hive > 配置 > 全部配置 > Hive(服务)
Metastore方式对接OBS 已参考配置Hive基于MetaStore方式对接OBS完成相关配置操作。 登录FusionInsight Manager,选择“集群 > 服务 > HetuEngine > 更多 > 同步配置”,同步配置完成后,再选择“更多 > 同步配置”,根据提示重启HetuEngine服务。
WebUI界面连接数据库。 创建Resource。 使用配置委托方式创建Resource 登录FusionInsight Manager界面,选择“集群 > 服务 > Doris > 配置 > 全部配置 > FE(角色) > OBS”,配置以下参数并单击“保存”保存配置: obs_authenticat
配置HDFS通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后,即可在HDFS客户端查看和创建OBS文件目录。 HDFS对接OBS 以客户端安装用户登录安装了HDFS客户端的节点。 执行以下命令,切换到客户端安装目录。 cd 客户端安装目录
配置Presto通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后,Presto即可通过presto_cli.sh客户端创建表存储在OBS中。 Presto对接OBS 未开启Kerberos认证的集群 使用客户端安装用户,登录已安装客户端的节点。
配置MRS集群远程运维 当用户使用集群过程中出现问题需要华为云支持人员协助解决时,用户可先联系华为云支持人员,再通过运维授权功能授权华为云支持人员访问用户机器的权限用于定位问题,或通过“日志共享”功能提供特定时间段内的日志给华为云支持人员以便定位问题。 开启MRS集群远程运维授权
使用,在这边添加一个配置项,用户可以根据Driver的内存大小设置合适的值。 配置描述 参数入口: 在执行应用之前,在Spark服务配置中修改。在Manager系统中,选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”,单击“全部配置”。在搜索框中输入参数名称。
配置Hudi通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后,即可在spark-shell中创建Hudi COW表存储到OBS中。 Hudi对接OBS 使用安装客户端用户登录客户端安装节点。 配置环境变量。 source 客户端安装目录/bigdata_env
重新执行1~7同步ResourceManager的配置并检查配置是否正常。 配置同步完成后Manager页面可能显示配置过期,该显示不影响业务,是由于组件没有加载最新的配置,待后续组件重启的时会自动加载。 父主题: 组件配置类
WebUI”后的链接,进入HSConsole界面。 在“计算实例”页签,在待操作的实例所属租户所在行的“操作”列单击“配置”,进入“配置实例”页签。 查看“高级配置”的“是否开启维护实例”是否处于“是”,否则修改为“是”。 修改完成后,将“立即启动”置为“是”,单击“确定”。 父主题:
配置Hudi通过Guardian访问OBS 参考配置Guardian服务对接OBS完成Guardian对接OBS后,即可在spark-shell中创建Hudi COW表存储到OBS中。 Hudi对接OBS 使用客户端安装用户登录客户端安装节点。 配置环境变量。 source 客户端安装目录/bigdata_env
下载客户端。 ZooKeeper配置开启SSL通道加密传输,不支持滚动重启。 配置ZooKeeper数据传输加密 登录FusionInsight Manager,选择“集群 > 服务 > ZooKeeper > 配置 > 全部配置”,进入全部配置页面。 在搜索框中输入参数名称,按照下表进行修改。
配置Windows通过EIP访问普通模式集群HDFS 操作场景 该章节通过指导用户配置集群绑定EIP,并配置HDFS文件的方法,方便用户可以在本地对样例文件进行编译。 本章节以运行HdfsExample样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP,并将本地Win
配置HDFS通过Guardian访问OBS 参考配置Guardian服务对接OBS完成Guardian对接OBS后,即可在HDFS客户端查看和创建OBS文件目录。 HDFS对接OBS 以客户端安装用户登录安装了HDFS客户端的节点。 执行以下命令,切换到客户端安装目录。 cd 客户端安装目录