检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何在Flume配置文件中使用环境变量 本章节描述如何在配置文件“properties.properties”中使用环境变量。 本章节适用于MRS 3.x及之后版本。 安装Flume客户端。 以root用户登录安装Flume客户端所在节点。 切换到以下目录。 cd Flume客户
配置流式读取Spark Driver执行结果 配置场景 在执行查询语句时，返回结果有可能会很大（10万数量以上），此时很容易导致JDBCServer OOM（Out of Memory）。因此，提供数据汇聚功能特性，在基本不牺牲性能的情况下尽力避免OOM。 配置描述 提供两种不同
配置HDFS通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，即可在HDFS客户端查看和创建OBS文件目录。 HDFS对接OBS 以客户端安装用户登录安装了HDFS客户端的节点。 执行以下命令，切换到客户端安装目录。 cd 客户端安装目录
ullify”脱敏策略处理。 配置Spark动态脱敏 修改JDBCServer实例配置，登录FusionInsight Manager页面，选择“集群 > 服务 > Spark > 配置 > 全部配置 > JDBCServer（角色）”： 使用Ranger鉴权场景，在参数“custom”中添加如下自定义参数：
配置Sqoop通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成Sqoop客户端对接OBS文件系统的配置后，可在Sqoop客户端导入关系型数据库的表到OBS中，或导出OBS中的表到关系型数据库中。 前提条件 需在MySQL官网https://downloads
Metastore方式对接OBS 已参考配置Hive基于MetaStore方式对接OBS完成相关配置操作。 登录FusionInsight Manager，选择“集群 > 服务 > HetuEngine > 更多 > 同步配置”，同步配置完成后，再选择“更多 > 同步配置”，根据提示重启HetuEngine服务。
据库名/表名"; 配置Spark基于Hive MetaStore方式对接OBS： 已完成配置Hive基于MetaStore方式对接OBS相关配置操作。 登录FusionInsight Manager，选择“集群 > 服务 > Spark > 配置 > 全部配置 ”。 在左侧的导航列表中选择“SparkResource
如何在Flume配置文件中使用环境变量 以root用户登录安装Flume客户端所在节点。 切换到以下目录。 cd Flume客户端安装目录/fusioninsight-flume-Flume组件版本号/conf 在该目录下的“flume-env.sh”文件中添加环境变量。 格式：
行的container进度。 配置描述 参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面，在搜索框中输入参数名称。 ResourceManager Restart特性配置如下。 表1 ResourceManager Restart参数配置 参数 描述 默认值 yarn
给集群配置有OBS访问权限的委托 请参考配置MRS集群通过IAM委托对接OBS配置OBS访问权限的委托。 配置的委托对该集群上所有用户（包括内置用户）及用户组生效，如需对集群上的用户及用户组访问OBS的权限进行控制请继续执行后续步骤。 配置OBS路径权限时，如果配置了写权限，
Manager页面。 选择“集群 > 服务 > HDFS > 配置 > 全部配置”进入HDFS全部配置页面。 搜索“hdfs.hdfs-site.customized.configs”参数，增加如下自定义参数，参数值根据实际需求进行配置。 参数名称 参数说明 取值范围 dfs.client
配置Hudi通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，即可在spark-shell中创建Hudi COW表存储到OBS中。 Hudi对接OBS 使用安装客户端用户登录客户端安装节点。 配置环境变量。 source 客户端安装目录/bigdata_env
配置Presto通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，Presto即可通过presto_cli.sh客户端创建表存储在OBS中。 Presto对接OBS 未开启Kerberos认证的集群 使用客户端安装用户，登录已安装客户端的节点。
发界面配置（MRS 3.1.0及以后版本）。 重启策略也可以通过Flink的配置文件“客户端安装目录/Flink/flink/conf/flink-conf.yaml”中的参数“restart-strategy”指定，为全局配置，还可以在应用代码中动态指定，会覆盖全局配置，重启策
0及以后版本）。 重启策略也可以通过Flink的配置文件“客户端安装目录/Flink/flink/conf/flink-conf.yaml”中的参数“restart-strategy”指定，为全局配置，还可以在应用代码中动态指定，会覆盖全局配置，重启策略包括失败率（failure-rate）和两种默认策略，默认策略为如下：
如需使用OBS加密功能，请先配置MRS访问OBS功能，具体请参考配置MRS集群通过IAM委托对接OBS。 Hive配置 登录MRS控制台，在左侧导航栏选择“现有集群” ，单击集群名称。 选择“组件管理 > Hive > 服务配置”。 将“基础配置”切换为“全部配置”，搜索并配置如下参数： 表1
Hive配置类问题 Hive SQL执行报错：java.lang.OutOfMemoryError: Java heap space. 解决方案： 对于MapReduce任务，增大下列参数： set mapreduce.map.memory.mb=8192; set mapreduce
配置Spark Python3样例工程 操作场景 为了运行MRS产品Spark2x组件的Python3接口样例代码，需要完成下面的操作。 操作步骤 客户端机器必须安装有Python3，其版本不低于3.6。 在客户端机器的命令行终端输入python3可查看Python版本号。如下显示Python版本为3
HDFS等）会话时是否模拟客户端用户。如果将此配置项从“false”修改为“true”，会导致只有列权限的用户访问相应表权限缺失。 true 单击“保存”，保存配置。 单击“实例”，勾选对应的实例，选择“更多 > 重启实例”，使配置生效。 父主题： Hive运维管理
配置Flink通过Guardian访问OBS 参考配置Guardian服务对接OBS完成Guardian对接OBS后，即可在Flink客户端访问OBS并行文件系统并运行作业。 Flink对接OBS 使用安装客户端的用户登录Flink客户端安装节点。 执行如下命令初始化环境变量。 source
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
