检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
）。 确保集群安装完成，包括HDFS、Yarn、Spark和Kafka。 创建Topic。 {zkQuorum}表示ZooKeeper集群信息，格式为IP:port。 $KAFKA_HOME/bin/kafka-topics.sh --create --zookeeper {zkQuorum}/kafka
会上报事件。 单位：GB。 100 job.monitor.local.thread.pool 获取NodeManager的监控的大作业的信息的线程数。 50 max.job.count 事件中显示大作业的数量。 10 job.monitor.local.dir.threshold
单击“购买集群”，进入购买集群页面。 在购买集群页面，选择“快速购买”或“自定义购买”。 参考快速购买MRS集群或自定义购买MRS集群配置集群信息。 在“通信安全授权”栏，勾选通信安全授权。 图1 通信安全授权 单击“立即购买”创建集群。 当集群开启Kerberos认证时，需要确认是
费更长的时间，且对应服务的吞吐量、性能等可能会受到影响。 当前MRS集群中，服务和实例是否支持滚动重启、滚动重启参数说明请参见组件重启参考信息。 重启MRS集群组件使用限制 请在低业务负载时间段进行滚动重启操作。 在滚动重启Kafka服务时， 如果Kafka服务业务吞吐量很高（1
scheduler.monitor.policies”中的策略，启用新的scheduler监控。设置为“true”表示启用监控，并根据scheduler的信息，启动抢占的功能。设置为“false”表示不启用。 false yarn.resourcemanager.scheduler.monitor
检查客户端节点网络连接。 在安装客户端过程中，系统会自动配置客户端节点“hosts”文件，建议检查“/etc/hosts”文件内是否包含集群内节点的主机名信息，如未包含，需要手动复制解压目录下的“hosts”文件中的内容到客户端所在节点的hosts文件中，确保本地机器能与集群各主机在网络上互通。
在客户端安装节点下创建文件目录：“/home/data”。将上述文件上传到此“/home/data”目录下。 创建Topic。 {zkQuorum}表示ZooKeeper集群信息，格式为IP:port。 $KAFKA_HOME/bin/kafka-topics.sh --create --zookeeper {zkQuorum}/kafka
修改“Module SDK” 单击“Apply”，单击“OK”。 配置Maven。 参考配置华为开源镜像仓章节描述，增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。 修改完成后，在IntelliJ IDEA选择“File > Settings > Build
rolling.size.maxBytes 设置滚动Executor日志的文件的最大值。默认关闭。数值以字节为单位设置。如果要自动清除旧日志，请查看spark.executor.logs.rolling.maxRetainedFiles。 - spark.executor.logs.rolling
doc/security-component/jsse2Docs/matchsslcontext_tls.html#matchsslcontext_tls。 毕昇JDK详细信息可参考https://www.hikunpeng.com/zh/developer/devkit/compiler/jdk。 安装和配置IntelliJ
rolling.size.maxBytes 设置滚动Executor日志的文件的最大值。默认关闭。数值以字节为单位设置。若要自动清除旧日志，请查看spark.executor.logs.rolling.maxRetainedFiles。 - spark.executor.logs.rolling
单击“下一步”，在“选择授权范围”中勾选“全局服务资源”，单击“确定”。 创建完成后，将鼠标放在新建的委托上，记录下委托ID，如下图所示。 图1 查看委托ID 创建云服务委托并绑定集群 登录华为云管理控制台。 在服务列表中选择“管理与监管 > 统一身份认证服务 IAM”。 选择“委托 >
）。 确保集群安装完成，包括HDFS、Yarn、Spark和Kafka。 创建Topic。 {zkQuorum}表示ZooKeeper集群信息，格式为IP:port。 $KAFKA_HOME/bin/kafka-topics.sh --create --zookeeper {zkQuorum}/kafka
且对flume运行用户有读写执行权限。 /srv/BigData/hadoop/data1/zb trackerDir flume采集文件信息元数据保存路径。 /srv/BigData/hadoop/data1/tracker batchSize Flume一次发送的事件个数（数
且对flume运行用户有读写执行权限。 /srv/BigData/hadoop/data1/zb trackerDir flume采集文件信息元数据保存路径。 /srv/BigData/hadoop/data1/tracker batchSize Flume一次发送的事件个数（数
WebUI界面的用户登录FusionInsight Manager，选择“集群 > 服务 > HetuEngine”，进入HetuEngine服务页面。 在概览页签下的“基本信息”区域，单击“HSConsole WebUI”后的链接，进入HSConsole界面。 在“计算实例”页签，在待操作的实例所属租户所在行的“
服务”，在“服务”选择“HBase”。在“关联类型”选择“独占”表示独占服务资源，选择“共享”表示共享服务资源。 描述 配置当前租户的描述信息。 单击“确定”保存，完成租户添加。 保存配置需要等待一段时间，界面右上角弹出提示“租户创建成功。”，租户成功添加。 创建租户时将自动创建租户对应的角色、计算资源和存储资源。
修改参数值后，需重启Yarn服务使其生效。 说明： 在修改值为“false”并生效后，生效前的日志无法在WebUI中获取。 如果需要在WebUI界面上查看之前产生的日志，建议将此参数设置为“true”。 true yarn.nodemanager.log-aggregation.roll-m
keyBy尽量不要使用String。 设置并行度 并行度控制任务的数量，影响操作后数据被切分成的块数。调整并行度让任务的数量和每个任务处理的数据与机器的处理能力达到最优。 查看CPU使用情况和内存占用情况，当任务和数据不是平均分布在各节点，而是集中在个别节点时，可以增大并行度使任务和数据更均匀的分布在各个节点。增
量）、take（返回前几个元素）。 生成Scala集合类型，如collect（把RDD中的所有元素导入Scala集合类型）、lookup（查找对应key的所有值）。 写入存储，如与前文textFile对应的saveAsTextFile。 还有一个检查点算子checkpoint。当
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
