检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
datanode.failed.volumes.tolerated”的值，指定失败的个数，小于该个数，DataNode可以继续提供服务。 配置描述 参数入口： 请参考修改集群服务配置参数，进入HDFS的“全部配置”页面，在搜索框中输入参数名称。 表1 参数说明 参数 描述 默认值 dfs.datanode
启动一个常驻的Flink集群，接受来自Flink客户端的任务。 flink run -c,--class <classname>：指定一个类作为程序运行的入口点。 -C,--classpath <url>：指定classpath。 -d,--detached：以分离方式运行job。 -files
法满足集群的业务需求，轻则集群变慢，重则集群服务不可用。所以需要根据实际的业务情况进行合理的JVM参数配置，提高集群性能。 操作步骤 参数入口： HBase角色相关的JVM参数需要配置在安装有HBase服务的节点的“${BIGDATA_HOME}/FusionInsight_HD
该章节仅适用于MRS 3.x及之后版本。 设置HDFS安全通道加密 默认情况下，组件间的通道是不加密的。您可以配置如下参数，设置安全通道为加密的。 参数修改入口：在FusionInsight Manager系统中，选择“集群 > 服务 > HDFS > 配置”，展开“全部配置”页签。在搜索框中输入参数名称。
配置Flume对接安全模式Kafka 使用Flume客户端对接安全kafka。 新增jaas.conf文件，并保存到“${Flume客户端安装目录}/conf”下，jaas.conf文件内容如下： KafkaClient { com.sun.security.auth.module
nvironment、Executors和SQL等部分。Streaming应用会多一个Streaming标签页。 页面入口：请参考登录MRS Manager登录MRS Manager页面，选择“服务管理 > Yarn”，单击“ResourceManager Web UI”对应的“
已安装客户端，具体参见使用MRS客户端。 操作步骤 连接到Spark CarbonData。 根据业务情况，准备好客户端，使用root用户登录安装客户端的节点。 例如在Master2节点更新客户端，则在该节点登录客户端，具体参见使用MRS客户端。 切换用户与配置环境变量。 sudo su - omm source
法满足集群的业务需求，轻则集群变慢，重则集群服务不可用。所以需要根据实际的业务情况进行合理的JVM参数配置，提高集群性能。 操作步骤 参数入口： HBase角色相关的JVM参数需要配置在安装有HBase服务的节点的“${BIGDATA_HOME}/FusionInsight_HD
配置Kafka数据安全传输协议 本章节内容适用于MRS 3.x及后续版本。 Kafka API简单说明 Producer API 指org.apache.kafka.clients.producer.KafkaProducer中定义的接口，在使用“kafka-console-producer
3.x及之后版本。 配置Kafka数据传输加密 默认情况下，组件间的通道是不加密的。用户可以配置如下参数，设置安全通道为加密的。 参数修改入口：在FusionInsight Manager系统中，选择“集群 > 服务 > Kafka > 配置”，展开“全部配置”页签，在搜索框中输入相关参数名称。
此任务的问题是，task数量变多时，AM管理的对象也线性增长，因此就需要更多的内存来管理。AM默认分配的内存堆大小是1GB。 操作步骤 通过调大如下的参数来进行AM调优。 参数入口： 在Yarn客户端的“mapred-site.xml”配置文件中调整如下参数。“mapred-site.xml”配置文件在客户端安装路径
Yarn服务提供队列给用户使用，用户分配对应的系统资源给各队列使用。完成配置后，您可以单击“刷新队列”按钮或者重启Yarn服务使配置生效。 参数入口： MRS 3.x之前的版本集群执行以下操作： 用户在MRS控制台上，选择“租户管理 > 资源分布策略”。 参数说明以default为例，其他队列的配置类似，单击“修改”编辑。
此任务的问题是，task数量变多时，AM管理的对象也线性增长，因此就需要更多的内存来管理。AM默认分配的内存堆大小是1GB。 操作步骤 通过调大如下的参数来进行AM调优。 参数入口： 在Yarn客户端的“mapred-site.xml”配置文件中调整如下参数。“mapred-site.xml”配置文件在客户端安装路径
Loader常用参数 参数入口 参数入口，请参考修改集群服务配置参数。 参数说明 表1 Loader常用参数 配置参数 说明 默认值 范围 mapreduce.client.submit.file.replication MapReduce任务在运行时依赖的相关job文件在HDF
多CPU内核下的MapReduce调优配置 操作场景 当CPU内核数很多时，如CPU内核为磁盘数的3倍时的调优配置。 操作步骤 以下参数有如下两个配置入口： 服务器端配置 进入Yarn服务参数“全部配置”界面，在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 客户端配置 直接在客户端中修改相应的配置文件。
r”、“default”和创建的角色，单击“确定”完成Flink作业用户创建（首次创建的用户需使用该用户登录Manager修改密码）。 登录Manager，下载认证凭据。 登录集群的Manager界面，具体请参见访问FusionInsight Manager（MRS 3.x及之后版本），选择“系统
percentage”修改百分比来控制具体的磁盘占比。 登录Manager进入服务配置页面。 MRS Manager界面操作入口：登录MRS Manager，依次选择 “服务管理 > HDFS> 配置”。 FusionInsight Manager界面操作入口：登录FusionInsight Manager，选择“集群
Loader常用参数 本章节适用于MRS 3.x及后续版本。 参数入口 参数入口，请参考修改集群服务配置参数。 参数说明 表1 Loader常用参数 配置参数 说明 默认值 范围 mapreduce.client.submit.file.replication MapReduce
参数配置项为服务级配置需要重启Kafka，建议在变更窗口做服务级配置修改。 参数描述 如果业务需要保证高可用和高性能。 在服务端配置如表1中参数，参数配置入口请参考修改集群服务配置参数。 表1 服务端高可用性和高性能参数说明 参数 默认值 说明 unclean.leader.election.enable
DBService进程没有停止成功，使用的端口未释放。 解决办法 该解决办法以20051端口被占用为例，20050端口被占用的解决办法与该办法类似。 以root用户登录DBService安装报错的节点主机，执行命令：netstat -nap | grep 20051查看占用20051端口的进程。 使用ki
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
