检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
0_272版本。 安装和配置IDEA 用于开发Flink应用程序的工具。版本要求：14.1.7。 安装Scala Scala开发环境的基本配置。版本要求：2.11.7。 安装Scala插件 Scala开发环境的基本配置。版本要求：1.5.4。 安装Maven 开发环境的基本配置。用于项目管理，贯穿软件开发生命周期。
sql”文件上传至客户端环境。 per-job模式：将上述文件上传到“客户端安装目录/Flink/flink”。 yarn-application模式：将上述文件和“flink-connector-kafka-实际版本号.jar”包上传到“客户端安装目录/Flink/flink/yarnship”。 修改“pyflink-kafka
等待状态 问题现象 使用MRS服务安装集群，主要安装ZooKeeper、Kafka。 在使用Consumer从Kafka消费数据时，发现客户端一直处于等待状态。 可能原因 Kafka服务异常。 客户端Consumer侧采用非安全访问，服务端配置禁止访问。 客户端Consumer侧采用非安全访问，Kafka
完成JDK选择后，单击“OK”完成配置。 图5 完成JDK配置 在应用开发环境中，导入样例工程到IntelliJ IDEA开发环境。 配置IntelliJ IDEA maven工程环境 选择“File > Settings”，搜索“maven”，配置maven工程，选择“Apply
同时输出本批次被更新状态的session。 数据规划 在kafka中生成模拟数据（需要有Kafka权限用户）。 确保集群安装完成，包括安装HDFS、Yarn、Spark2x和Kafka服务。 将Kafka的Broker配置参数“allow.everyone.if.no.acl.found”的值修改为“true”。
同时输出本批次被更新状态的session。 数据规划 在kafka中生成模拟数据（需要有Kafka权限用户）。 确保集群安装完成，包括安装HDFS、Yarn、Spark2x和Kafka服务。 将Kafka的Broker配置参数“allow.everyone.if.no.acl.found”的值修改为“true”。
快速配置参数 概述 本节介绍Spark2x使用过程中快速配置常用参数和不建议修改的配置参数。 快速配置常用参数 其他参数在安装集群时已进行了适配，以下参数需要根据使用场景进行调整。以下参数除特别指出外，一般在Spark2x客户端的“spark-defaults.conf”文件中配置。
Yarn节点配置调优 操作场景 合理配置大数据集群的调度器后，还可通过调节每个节点的可用内存、CPU资源及本地磁盘的配置进行性能调优。 具体包括以下配置项： 可用内存 CPU虚拟核数 物理CPU使用百分比 内存和CPU资源的协调 本地磁盘 操作步骤 如果您需要对参数配置进行调整，具体操作请参考修改集群服务配置参数。
选择滚动重启时可以根据实际需要参考表1配置相关参数。（不同版本参数略有差异，请以实际界面显示为准） 图1 通过Manager滚动重启服务 表1 滚动重启配置参数 参数名称 示例 描述 只重启配置过期的实例 - 是否只重启集群内修改过配置的实例。 部分版本该参数名称为“仅重启配置过期的实例”，请以实际显示为准。
基于安全考虑，服务端只支持TLS V1.2及以上的加密协议。 安装和配置IntelliJ IDEA 开发环境的基本配置，建议使用2019.1或其他兼容版本。 说明： 若使用Oracle JDK，请确保IntelliJ IDEA中的JDK配置为Oracle JDK。 若使用Open JDK，请确保IntelliJ
如何修改Clickhouse服务的allow_drop_detached配置项? 用root用户登录Clickhouse客户端所在节点。 进入客户端目录，配置环境变量。 cd /opt/客户端安装目录 source bigdata_env 如果当前集群已启用Kerberos认证，
sql”文件上传至客户端环境。 per-job模式：将上述文件上传到“客户端安装目录/Flink/flink”。 yarn-application模式：将上述文件和“flink-connector-kafka-实际版本号.jar”包上传到“客户端安装目录/Flink/flink/yarnship”。 修改“pyflink-kafka
uce中，每个Reduce做聚合操作，并输出结果，这样的处理会使相同的Group By Key可能被分发到不同的Reduce中，从而达到负载均衡，第二个Job再根据预处理的结果按照Group By Key分发到Reduce中完成最终的聚合操作。 Count Distinct聚合问题
选择Windows开发环境下，安装Eclipse，安装JDK。 开发环境安装Eclipse程序，安装要求Eclipse使用4.2或以上版本。 开发环境安装JDK程序，安装要求JDK使用1.8版本。 若使用IBM JDK，请确保Eclipse中的JDK配置为IBM JDK。 若使用Oracle
快速配置Spark参数 概述 本节介绍Spark2x使用过程中快速配置常用参数和不建议修改的配置参数。 快速配置常用参数 其他参数在安装集群时已进行了适配，以下参数需要根据使用场景进行调整。以下参数除特别指出外，一般在Spark2x客户端的“spark-defaults.conf”文件中配置。
1 发布时间 2020-01-07 解决的问题 MRS大数据组件 MRS Kafka优化健康检查及滚动重启逻辑 补丁兼容关系 无。 安装补丁的影响 安装MRS 1.8.10.1补丁期间会重启MRS Manager和Kafka服务，重启服务期间会引起服务暂时不可用。 父主题： MRS集群补丁说明
gz 在“/home/omm/MRS_Log4j_Patch/bin/ips.ini”文件中配置需要打补丁的节点IP（当前集群所有节点IP）。 每行配置一个IP，中间不能有空行。 执行脚本安装补丁。 cd /home/omm/MRS_Log4j_Patch/bin nohup sh
Manager界面创建一个用户并关联“hadoop”和“hive”用户组。 已下载并安装Hudi集群客户端。 基础操作 使用root用户登录集群客户端节点，执行如下命令： cd {客户端安装目录} source bigdata_env source Hudi/component_env
Manager界面创建一个用户并关联“hadoop”和“hive”用户组。 已下载并安装Hudi集群客户端。 基础操作 使用root用户登录集群客户端节点，执行如下命令： cd {客户端安装目录} source bigdata_env source Hudi/component_env
实例”，单击任意实例名称，在“概览”界面的“配置文件”区域单击配置文件“hdfs-site.xml”。 从hdfs-site.xml中获取以下配置的参数值，例如HDFS配置了两个nameservice，一个是hacluster，一个是ns1，则需要获取以下配置的参数值： dfs.nameservices、dfs
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
