检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
部分任务的Join结果进行Union操作，以达到消除数据倾斜的效果。 配置参数 登录FusionInsight Manager系统，选择“集群 > 服务 > Spark2x > 配置”，单击“全部配置”，搜索以下参数。 参数 说明 默认值 spark.sql.adaptive.enabled
Array[String]) { val ssc = createContext(args) //启动Streaming系统。 ssc.start() ssc.awaitTermination() } def createContext(args
操作步骤 设置作业基本信息 登录“Loader WebUI”界面。 登录FusionInsight Manager系统，具体请参见访问集群Manager。 选择“集群 > 服务 > Loader”。 单击“LoaderServer(节点名称，主)”打开“Loader WebUI”界面。
筛选连续上网时间超过阈值的用户，并获取结果 upTimeUser.print(); // 6.Streaming系统启动 jssc.start(); jssc.awaitTermination(); } Spark
两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 编译打包前，样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。例如：“/opt/female/user
import sys import os from pyflink.table import (EnvironmentSettings, TableEnvironment) def read_sql(file_path): if not os.path.isfile(file_path):
各组件样例工程汇总（2.x版本） 组件 样例工程位置 描述 Alluxio alluxio-examples 使用Alluxio通过公共接口连接到存储系统示例程序。可实现写文件、读文件等功能。 Flink flink-examples 该样例工程提供以下样例程序： DataStream程序
下面代码片段仅为演示，具体代码请参见获取样例代码解压目录中“hdfs-c-example/hdfs_test.c”文件。 设置HDFS NameNode参数，建立HDFS文件系统连接。 hdfsFS fs = hdfsConnect("default", 0); fprintf(stderr, "hdfsConnect-
import sys import os from pyflink.table import (EnvironmentSettings, TableEnvironment) def read_sql(file_path): if not os.path.isfile(file_path):
码解压目录中“HDFS/hdfs-c-example/hdfs_test.c”文件。 设置HDFS NameNode参数，建立HDFS文件系统连接。 hdfsFS fs = hdfsConnect("default", 0); fprintf(stderr, "hdfsConnect-
操作步骤 参考获取MRS应用开发样例工程，下载样例工程到本地。 将安装Flink客户端章节中下载的客户端安装包复制到Windows服务器中。 将Windows服务器中的“MRS_Flink_Client.tar”文件解压缩得到“MRS_Flink_ClientConfig.tar”，再
allow-access-address配置项中。 禁止将文件绝对路径发送到客户端： 说明：文件绝对路径发送到客户端会暴露服务端的目录结构信息，有助于攻击者遍历了解系统，为攻击者攻击提供帮助。 安全加固：Flink配置文件中所有配置项中如果包含以/开头的，则删掉第一级目录。 同源策略：
闲置。 针对单个应用程序任务，只能使用一次DFSColocationAdmin和DFSColocationClient实例。如果每次对文件系统操作都获取此实例，会创建过多HDFS链接，消耗HDFS资源。 Colocation提供了文件同分布的功能，执行集群balancer或mov
删除集群 功能介绍 数据完成处理分析后或者集群运行异常无法提供服务时可删除集群服务。该接口兼容Sahara。 处于如下状态的集群不允许删除： scaling-out：扩容中 scaling-in：缩容中 starting：启动中 terminating：删除中 terminated：已删除
准备应用开发配置文件 集群创建成功后，登录FusionInsight Manager创建用于创建Hive数据表及提交HCatalog程序的集群用户。 选择“系统 > 权限 > 用户 > 添加用户”，在新增用户界面创建一个机机用户，例如hiveuser。 “用户组”需加入“hive”、“supergroup”用户组。
开启ClickHouse租户CPU优先级配置 本章节内容仅适用于MRS 3.2.0及之后版本。 操作场景 ClickHouse租户支持CPU优先级，该特性依赖OS的CAP_SYS_NICE能力，需要开启该能力才可以生效。 操作步骤 使用root用户登录ClickHouseServer实例节点，执行如下命令：
针对上述风险，MRS服务提供了基于弹性负载均衡ELB的部署架构图1。基于ELB的部署架构，可以将用户访问流量自动均匀分发到多台后端节点，扩展系统对外的服务能力，实现更高水平的应用容错。当其中一台ClickHouse后端节点发生故障时，ELB通过故障转移方式正常对外提供服务。 图1 通过弹性负载均衡访问ClickHouse
allow-access-address配置项中。 禁止将文件绝对路径发送到客户端： 说明：文件绝对路径发送到客户端会暴露服务端的目录结构信息，有助于攻击者遍历了解系统，为攻击者攻击提供帮助。 安全加固：Flink配置文件中所有配置项中如果包含以/开头的，则删掉第一级目录。 同源策略：
闲置。 针对单个应用程序任务，只能使用一次DFSColocationAdmin和DFSColocationClient实例。如果每次对文件系统操作都获取此实例，会创建过多HDFS链接，消耗HDFS资源。 Colocation提供了文件同分布的功能，执行集群Balancer或Mov
and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] projectId = "{project_id}"
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
