检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
AM委托对接OBS。 存算分离功能使用流程： 配置存算分离集群。 请选择如下其中一种配置即可（推荐使用委托方式）。 通过为MRS集群绑定ECS委托方式访问OBS，避免了AK/SK直接暴露在配置文件中的风险，具体请参考配置MRS集群通过IAM委托对接OBS。 在MRS集群中配置AK
rce、channel以及sink，将其拖到右侧的操作界面中并将其连接。 采用SpoolDir Source、Memory Channel和Kafka Sink，如图2所示。 图2 Flume配置工具示例 双击对应的source、channel以及sink，根据实际环境并参考表1设置对应的配置参数。
rce、channel以及sink，将其拖到右侧的操作界面中并将其连接。 采用SpoolDir Source、Memory Channel和Kafka Sink，如图2所示。 图2 Flume配置工具示例 双击对应的source、channel以及sink，根据实际环境并参考表1设置对应的配置参数。
Settings”。 弹出“Settings”窗口。 在左边导航上选择“Editor > File Encodings”，在“Global Encoding”和“Project Encodings”区域，设置参数值为“UTF-8”，单击“Apply”后，单击“OK”，如图2所示。 图2 设置IntelliJ
序。 使用root用户登录安装了集群客户端的节点。 cd /opt/client source bigdata_env 创建输入Topic和输出Topic，与样例代码中指定的Topic名称保持一致，输出Topic的清理策略设置为compact。 kafka-topics.sh --create
cd /opt/client source bigdata_env kinit 组件操作用户（例如developuser） 创建输入Topic和输出Topic，与样例代码中指定的Topic名称保持一致，输出Topic的清理策略设置为compact。 kafka-topics.sh --create
日志 > 在线检索”。 图1 在线检索 根据所需查询日志分别填写表1各参数，用户可以根据需要选择所需查阅日志时长，也可以单击自定义“开始时间”和“结束时间”。 表1 日志检索参数 参数名 说明 检索内容 检索的关键字或正则表达式。 服务 选择所需查询日志的服务或模块。 文件 当且仅当
停日志） audit： “/var/log/Bigdata/loader/audit”（审计日志） 日志归档规则： Loader的运行日志和审计日志，启动了自动压缩归档功能，默认情况下，当日志大小超过10MB的时候，会自动压缩，压缩后的日志文件名规则为：“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>
tion的大小（参数“state.backend.rocksdb.soft-pending-compaction-bytes-limit”和“state.backend.rocksdb.hard-pending-compaction-bytes-limit”的值）。 是：在Flink
Storm性能调优 操作场景 通过调整Storm参数设置，可以提升特定业务场景下Storm的性能。 本章节适用于MRS 3.x及后续版本。 修改服务配置参数，请参考修改集群服务配置参数。 拓扑调优 当需要提升Storm数据量处理性能时，可以通过拓扑调优的操作提高效率。建议在可靠性要求不高的场景下进行优化。
在“服务”中勾选操作集群的“HetuEngine”，单击“确定”。 在“主机”中勾选对应角色所在的主机，单击“确定”。 单击右上角的，设置日志收集的“开始时间”和“结束时间”，分别为告警产生时间的前后30分钟，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。
允许例外条件 > 允许条件。 系统判断流程可参考下图所示，如果组件资源请求未匹配到Ranger中的权限策略，系统默认将拒绝访问。但是对于HDFS和Yarn，系统会将决策下放给组件自身的访问控制层继续进行判断。 例如要将一个文件夹FileA的读写权限授权给用户组groupA，但是该用户组
Manager界面，选择“运维 > 日志 > 下载”。 在“服务”中勾选“OmmServer”，单击“确定”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。
x调测程序。 使用集群安装用户登录集群客户端节点。 cd /opt/client source bigdata_env 创建输入Topic和输出Topic，与样例代码中指定的Topic名称保持一致，输出Topic的清理策略设置为compact。 kafka-topics.sh --create
cd /opt/client source bigdata_env kinit 组件操作用户（例如developuser） 创建输入Topic和输出Topic，与样例代码中指定的Topic名称保持一致，输出Topic的清理策略设置为compact。 kafka-topics.sh --create
是，执行14。 否，执行17。 执行su - omm切换为omm用户，根据集群版本编辑对应文件，并适当增大“nodeagent.Xms”初始堆内存参数值和“nodeagent.Xmx”最大堆内存参数值大小，保存修改。 参数所在文件路径如下： MRS 3.2.1之前版本：/opt/Bigdata
集群未启用Kerberos认证（普通模式）使用root用户登录。 运行该命令后，根据实际需求指定业务用户名： 指定业务用户名，则输入“yes”，并根据提示输入业务用户名和对应的业务用户密码： 不指定业务用户名，则输入“no”；此时，则使用7中的用户执行后续操作： 输入其他，则退出登录： （可选）创建元数据。
如何在CarbonData中配置非安全内存？ 问题 如何在CarbonData中配置非安全内存？ 回答 在Spark配置中，“spark.yarn.executor.memoryOverhead”参数的值应大于CarbonData配置参数“sort.inmemory.size.inmb”与“Netty
r。通过运行这个程序，可以使得HDFS集群达到一个平衡的状态，使各DataNode磁盘使用率与HDFS集群磁盘使用率的偏差不超过阈值。图1和图2分别是Balance前后DataNode的磁盘使用率变化。 图1 执行均衡操作前DataNode的磁盘使用率 图2 执行均衡操作后DataNode的磁盘使用率
r。通过运行这个程序，可以使得HDFS集群达到一个平衡的状态，使各DataNode磁盘使用率与HDFS集群磁盘使用率的偏差不超过阈值。图1和图2分别是Balance前后DataNode的磁盘使用率变化。 图1 执行均衡操作前DataNode的磁盘使用率 图2 执行均衡操作后DataNode的磁盘使用率
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
