检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
主备集群都已经安装并启动成功，且获取集群的管理员权限。 必须保证主备集群间的网络畅通和端口的使用。 如果主集群部署为安全模式且不由一个FusionInsight Manager管理，主备集群必须已配置跨集群互信。如果主集群部署为普通模式，不需要配置跨集群互信。 主备集群必须已配置跨集群拷贝。
配置HBase冷热分离 配置HBase冷热数据分离存储 HBase冷热分离相关命令介绍 父主题： HBase企业级能力增强
开发Oozie配置文件 Oozie样例程序开发思路 Oozie应用开发步骤 父主题： 开发Oozie应用
配置Hadoop数据传输加密 设置安全通道加密 默认情况下，组件间的通道是不加密的。您可以配置如下参数，设置安全通道是加密的。 参数修改入口：在FusionInsight Manager系统中，选择“集群 > 服务 > 服务名 > 配置”，展开“全部配置”页签。在搜索框中输入参数名称。
配置Spark Core广播变量 操作场景 Broadcast（广播）可以把数据集合分发到每一个节点上，Spark任务在执行过程中要使用这个数据集合时，就会在本地查找Broadcast过来的数据集合。如果不使用Broadcast，每次任务需要数据集合时，都会把数据序列化到任务里面，不但耗时，还使任务变得很大。
admin.acls.groups 配置Spark管理组列表，列表中的组有权限管理所有Spark任务，此处可以配置多个管理组，使用“,”分隔。 - spark.modify.acls 配置有权限修改Spark任务的成员列表。启动任务的用户默认有此权限，此处可以配置多个用户，使用“,”分隔。
per。 Yarn内部和Hadoop内部都不需要用户配置加密，用户只需要配置SSL加密传输方式。 配置SSL传输，用户主要在客户端的“flink-conf.yaml”文件中做如下配置： 打开SSL开关和设置SSL加密算法，配置参数如表2所示，请根据实际情况修改对应参数值。 表2 参数描述
HDFS > 配置”，展开“全部配置”页签。在搜索框中输入参数名称。 配置后应重启对应服务使参数生效。 表1 参数说明 配置项 描述 默认值 hadoop.rpc.protection 须知： 设置后需要重启服务生效，且不支持滚动重启。 设置后需要重新下载客户端配置，否则HDFS无法提供读写服务。
主备集群都已经安装并启动成功，且获取集群的管理员权限。 必须保证主备集群间的网络畅通和端口的使用。 如果主集群部署为安全模式且不由一个FusionInsight Manager管理，主备集群必须已配置跨集群互信。如果主集群部署为普通模式，不需要配置跨集群互信。 主备集群必须已配置跨集群拷贝。
HetuEngine > 配置 > 全部配置 > QAS（角色） > SQL诊断“，参数“qas.sql.auto.diagnosis.enabled”为“true”表示开启SQL诊断功能，可根据业务需求配置SQL诊断推荐参数。 单击“保存”，保存配置。 单击“实例”，勾选所有QAS实例，选择“更多
在Spark客户端的“{客户端安装目录}/Spark/spark/conf/spark-env.sh”配置文件中进行设置。 X86平台参数如下： export LD_PRELOAD="{客户端安装目录}/Spark/spark/native/libch.so {客户端安装目录}/JDK/jdk1
mpt启动时，保留之前Container的状态，因此运行中的作业可以继续无故障的运行。 图1 AM作业保留 配置描述 参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面，在搜索框中输入参数名称。 根据表1，对如下参数进行设置。 表1 AM作业保留相关参数 参数 说明 默认值
动后C段时间的任务启用流控功能。 配置描述 在Spark Driver端的“spark-defaults.conf”配置文件中进行设置。 表1 参数说明 参数 说明 默认值 spark.streaming.kafka.direct.lifo 配置是否开启Kafka后进先出功能。 false
mpt启动时，保留之前Container的状态，因此运行中的作业可以继续无故障的运行。 图1 AM作业保留 配置描述 参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面，在搜索框中输入参数名称。 根据表1，对如下参数进行设置。 表1 AM作业保留相关参数 参数 说明 默认值
Spark客户端和服务端权限参数配置说明 SparkSQL权限管理功能相关的配置如下所示，客户端与服务端的配置相同。要使用表权限功能，需要在服务端和客户端添加如下配置。 “spark-defaults.conf”配置文件 表1 参数说明（1） 参数 描述 默认值 spark.sql
配置Hive分区元数据冷热存储 分区元数据冷热存储介绍 为了减轻集群元数据库压力，将长时间未使用过的指定范围的分区相关元数据移动到备份表，这一过程称为分区数据冻结，冻结的分区数据称为冷分区，未冻结的分区称为热分区，存在冷分区的表称为冻结表。将被冻结的数据重新移回原元数据表中，这一过程称为分区数据解冻。
开发Oozie配置文件 Oozie样例程序开发思路 Oozie应用开发步骤 父主题： 开发Oozie应用
开发Oozie配置文件 Oozie样例程序开发思路 Oozie应用开发步骤 父主题： 开发Oozie应用
开发Oozie配置文件 Oozie样例程序开发思路 Oozie应用开发步骤 父主题： 开发Oozie应用
模式不需要）。 已安装Kafka客户端。 操作步骤 以客户端安装用户，登录已安装Kafka客户端的节点。 切换到Kafka客户端安装目录，例如“/opt/client”。 cd /opt/client 执行以下命令，配置环境变量。 source bigdata_env 执行以下命
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
