检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Flume通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，Flume即可运行OBS作业。 本章节适用于MRS 3.x及之后的版本。 Flume对接OBS 创建用于存放数据的OBS文件夹。 登录OBS控制台。 单击“并行文件系统”进入并行文件系统页面。
删除。 若“数据连接”页面没有关联连接，单击“配置数据连接”进行增加。 一种模块类型只能配置一个数据连接，如在Hive元数据上配置了数据连接后，不能再配置其他的数据连接。当没有可用的模块类型时，“配置数据连接”按钮不可用。 表2 配置Hive数据连接 参数 说明 组件名称 Hive
默认情况下，系统会将container日志收集到HDFS中。如果您不需要将container日志收集到HDFS中，可以配置参数见表3。具体配置操作请参考修改集群服务配置参数。 表3 参数说明 配置参数 说明 默认值 yarn.log-aggregation-enable 设置是否将container日志收集到HDFS中。
0000000000000000000000: xxx" 如果该异常是Kudu服务初次安装时出现，可能是KuduMaster没能同时启动，造成数据不一样导致启动失败。可以通过如下步骤清空数据目录，重启Kudu服务解决。如果非初次安装，清空数据目录会造成数据丢失，请先进行数据迁移再进行数据目录清空操作。
写入操作配置 本章节介绍Hudi重要配置的详细信息，更多配置请参考hudi官网：http://hudi.apache.org/cn/docs/configurations.html。 表1 写入操作重要配置项 参数 描述 默认值 hoodie.datasource.write.table
如何修改现有集群的HDFS fs.defaultFS？ 问： 如何修改现有集群的HDFS NameSpace（fs.defaultFS）？ 答： 当前不建议在服务端修改或者新增集群内HDFS NameSpace（fs.defaultFS），如果只是为了客户端更好的识别，则一般可以通过修改客户端内“core-site
如果为非root用户，请参考创建并配置RDS实例操作。 单击“确定”完成创建。 配置Ranger数据连接 登录MRS控制台。 单击集群名称进入集群详情页面。 单击“数据连接”右侧的“单击管理”，进入数据连接配置界面。 单击“配置数据连接”，并配置相关参数： 组件名称：Ranger
如何修改FlumeClient的日志为标准输出日志？ 登录Flume客户端安装节点。 进入Flume客户端安装目录，假设Flume客户端安装路径为“/opt/FlumeClient”，可以执行以下命令。 cd /opt/FlumeClient/fusioninsight-flume-1
如何查看MRS集群配置信息？ 集群创建完成后在MRS控制台单击集群名称进入集群基本信息页面，可以查看到集群的基本配置信息，包括集群的名称、ID、付费类型、工作地域、创建时间、Hadoop组件版本及节点的实例规格、容量。 节点的实例规格和容量决定了该集群对数据的分析处理能力。 节点
Hudi自定义配置项样例程序 HoodieDeltaStreamer 自定义排序器 父主题： 开发Spark应用
如何查看MRS集群各组件配置文件路径？ 常用组件配置文件路径如下所示： 组件 配置文件目录 ClickHouse 客户端安装路径/ClickHouse/clickhouse/config Flink 客户端安装路径/Flink/flink/conf Flume Flume客户端安
MRS的Storm集群提交任务时如何指定日志路径？ 问： MRS的Storm集群提交任务时如何指定日志路径？ 答： 用户可以根据自己的需求，修改MRS的流式Core节点上的“/opt/Bigdata/MRS_XXX /1_XX _Supervisor/etc/worker.xml
修改component_env文件 执行如下命令验证配置。 source /opt/Bigdata/client/bigdata_env beeline -e "use default;show tables;" 父主题： 组件配置类
ClickHouse> 配置 > 全部配置”，可以通过参数“query_log.ttl”和“trace_log.ttl”配置数据清理周期，默认为90天。 MRS 3.3.0之前版本，在ClickHouse客户端给TTL的系统表执行如下语句： alter table system.表名
conf”中的“spark.driver.memory”配置项或者“spark-env.sh”中的“SPARK_DRIVER_MEMORY”配置项设置为合适大小。 在使用spark-submit命令时，添加“--driver-memory MEM”参数设置内存。 配置Executor个数。 每个Exe
HBase表如何设置和修改数据保留期？ 创建表时指定 创建t_task_log表，列族f, TTL设置86400秒过期 create 't_task_log',{NAME => 'f', TTL=>'86400'} 在已有表的基础上指定： alter "t_task_log",NAME=>'data'
创建云服务委托并绑定集群 为Guardian组件配置访问OBS权限 开启Hive表的级联授权功能 配置回收站清理策略 前提条件 集群已安装Guardian、Ranger、Hadoop等组件。 如果安装Hadoop、HetuEngine、Hive、Spark等组件后，再安装Guardian，则需要重新
面。 选择“数据源”，单击“添加数据源”。在“添加数据源”页面填写参数。 配置“基本配置”，填写数据源名称，选择数据源类型“HBase”。 配置“HBase配置”，参数配置请参考表1。 表1 HBase配置 参数 描述 取值样例 驱动 默认为“hbase-connector”。 hbase-connector
配置MRS租户 添加MRS租户 添加MRS子租户 为MRS集群用户绑定租户 添加MRS租户资源池 配置资源池的队列容量策略 配置MRS租户队列 父主题： 管理MRS集群租户
任务分别配置不同的资源执行来节省资源使用。 执行资源 Compaction调度的间隔应小于Compaction计划生成的间隔，例如1小时左右生成一个Compaction计划的话，执行Compaction计划的调度任务应该至少半小时调度一次。 Compaction作业配置的资源，v
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
