检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ions替代repartition与sort类操作。 repartitionAndSortWithinPartitions是Spark官网推荐的一个算子，官方建议，如果需要在 repartition重分区之后，还要进行排序，建议直接使用repartitionAndSortWithinPartitions
keystore、truststore相关配置文件，该目录是由用户自定义创建。 配置客户端访问keystore或truststore文件路径。 相对路径（推荐） 请执行如下步骤配置“flink.keystore”和“flink.truststore”文件路径为相对路径，并确保Flink客户端执行命令的目录可以直接访问该相对路径。
离线重启：会断服，耗时短。 登录MRS管理控制台或FusionInsight Manager界面。 重启相关组件，可以采用重启集群或者重启组件方式。 方式一（推荐）：重启集群，建议在业务空闲时间重启。 在FusionInsight Manager界面，选择“集群 > 概览 > 更多”，重启集群或者滚
离线重启：会断服，耗时短。 登录MRS控制台或FusionInsight Manager界面。 重启相关组件，可以采用重启集群或者重启组件方式。 方式一（推荐）：重启集群，建议在业务空闲时间重启。 在FusionInsight Manager界面，选择“集群 > 概览 > 更多”，重启集群或者滚
tory命令记录功能，避免信息泄露。 配置客户端访问flink.keystore和flink.truststore文件的路径。 相对路径（推荐）： 执行如下步骤配置flink.keystore和flink.truststore文件路径为相对路径，并确保Flink Client执行命令的目录可以直接访问该相对路径。
Master节点数量大于等于3个，小于等于11个。 节点组数量总和小于等于10个，非Master节点组中节点数量总和小于等于10000个。 管控数合设 生产环境或商用环境不推荐使用此场景。 管理节点、控制节点和数据节点合并部署时，集群性能和可靠性都会产生较大影响。 如节点数量满足需求，建议将数据节点单独部署。 M
store.sh”脚本时输入的密码。 配置客户端访问flink.keystore和flink.truststore文件的路径。 相对路径（推荐）： 执行如下步骤配置flink.keystore和flink.truststore文件路径为相对路径，并确保Flink Client执行命令的目录可以直接访问该相对路径。
tory命令记录功能，避免信息泄露。 配置客户端访问flink.keystore和flink.truststore文件的路径。 相对路径（推荐）： 执行如下步骤配置flink.keystore和flink.truststore文件路径为相对路径，并确保Flink Client执行命令的目录可以直接访问该相对路径。
streaming.blockInterval 在被存入Spark之前Spark Streaming Receiver接收数据累积成数据块的间隔（毫秒）。推荐最小值为50毫秒。 200ms spark.streaming.receiver.maxRate 每个Receiver接收数据的最大速率（
rocksdb.bottommost_compression snappy 底层使用重量级的压缩类型，减少空间。因为底层的数据可能是冷数据，如果要启用，推荐使用zstd或者zlib 取值范围：null、snapp、zlib、bzip2、lz4、lz4hc、xpress、zstd state.backend
离线重启：会断服，耗时短。 登录MRS控制台或FusionInsight Manager界面。 重启相关组件，可以采用重启集群或者重启组件方式。 方式一（推荐）：重启集群，建议在业务空闲时间重启。 在FusionInsight Manager界面，选择“集群 > 概览 > 更多”，重启集群或者滚
streaming.blockInterval 在被存入Spark之前Spark Streaming Receiver接收数据累积成数据块的间隔（毫秒）。推荐最小值为50毫秒。 200ms spark.streaming.receiver.maxRate 每个Receiver接收数据的最大速率（
MRS集群必须创建在VPC子网内。 创建MRS集群时，支持自动创建安全组，也可选择已有的安全组。 MRS集群使用的安全组请勿随意放开权限，避免被恶意访问。 浏览器 建议使用推荐的浏览器登录MRS管理界面。 Google Chrome：36.0及更高版本 Edge：随Windows操作系统更新。 数据存储 MRS集
在JDBCServer服务端的“spark-defaults.conf”配置文件中进行设置。 default spark.driver.memory 大集群下推荐配置32~64g驱动程序进程使用的内存数量，即SparkContext初始化的进程（例如：512m, 2g）。 4G spark.yarn
在JDBCServer服务端的“spark-defaults.conf”配置文件中进行设置。 default spark.driver.memory 大集群下推荐配置32~64g驱动程序进程使用的内存数量，即SparkContext初始化的进程（例如：512m, 2g）。 4G spark.yarn
离线重启：会断服，耗时短。 登录MRS管理控制台或FusionInsight Manager界面。 重启相关组件，可以采用重启集群或者重启组件方式。 方式一（推荐）：重启集群，建议在业务空闲时间重启。 在FusionInsight Manager界面，选择“集群 > 概览 > 更多”，重启集群或者滚
keystore、truststore相关配置文件，该目录是由用户自定义创建。 配置客户端访问keystore或truststore文件路径。 相对路径（推荐） 请执行如下步骤配置“flink.keystore”和“flink.truststore”文件路径为相对路径，并确保Flink客户端执行命令的目录可以直接访问该相对路径。
慎用正则表达式函数REGEXP 正则表达式是非常耗时的操作，对比加减乘除通常有百倍的性能开销，而且正则表达式在某些极端情况下可能会进入无限循环，导致作业阻塞。推荐首先使用LIKE。正则函数包括： REGEXP REGEXP_EXTRACT REGEXP_REPLACE 【示例】 使用正则表达式： SELECT
效。使得Spark Streaming和Kafka可以很好地整合在一起。总体来说，这些特性使得流处理管道拥有高容错性、高效性及易用性，因此推荐使用Direct Streaming方式处理数据。 Receiver 在一个Spark Streaming应用开始时（也就是Driver开
安装客户端（3.x版本） MRS集群创建成功后，用户可自行安装集群客户端，用于连接集群内组件服务端，进行组件连接、作业提交等任务。集群客户端可以安装在集群内的节点上，也可以安装在集群外的节点上。 集群内组件的服务端配置修改后，也建议重新安装客户端，否则客户端与服务端版本将不一致，可能影响部分功能的正常使用。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
