检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
致。 配置参数 登录FusionInsight Manager系统，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”，单击“全部配置”，搜索以下参数。 参数 说明 默认值 取值范围 spark.sql.sources.partitionOverwriteMode
作系统选取其中一个版本安装即可，使用uname -p命令确认当前操作系统架构。 MRS 3.2.0及之后版本，使用对应的easy_install命令，安装dependency_python3.x文件夹下的egg文件，egg文件存在依赖关系，可使用通配符安装，如： “dependency_python3
客户端前，需要先下载并更新客户端配置文件，确认Manager的主管理节点后才能使用客户端。 操作步骤 以客户端安装用户，登录安装HBase客户端的节点。 进入HBase客户端安装目录： 例如：cd /opt/client 执行以下命令配置环境变量。 source bigdata_env
角色章节。 配置HBase数据压缩格式和编码 创建时设置data block encoding和压缩算法。 方法一：使用hbase shell。 以客户端安装用户，登录安装客户端的节点。 执行以下命令切换到客户端目录。 cd /opt/client 执行以下命令配置环境变量。 source
CarbonData性能调优常见配置参数 操作场景 CarbonData的性能与配置参数相关，本章节提供了能够提升性能的相关配置介绍。 操作步骤 用于CarbonData查询的配置介绍，详情请参见表1和表2。 表1 Shuffle过程中，启动Task的个数 参数 spark.sql
表示队列使用的资源池。默认为“default”，如果需要修改为其他资源，需要先配置队列容量，请参见配置资源池的队列容量策略。 单击“确定”完成配置。 MRS 2.x及之前版本集群： 在MRS Manager，单击“租户管理”。 单击“动态资源计划”页签。 单击“队列配置”页签。 在租户队列表格，指定租户队列的“操作”列，单击“修改”。
是，执行3。 否，执行以下命令生成公私钥： ssh-keygen -t rsa 以omm用户登录oozie实例所在节点，执行以下命令配置互信： ssh-copy-id -i ~/.ssh/id_rsa.pub 运行SSH任务的用户@运行SSH任务的节点的IP地址 执行该命令后需要输入运行SSH任务的用户的密码。
<Kafka集群IP:21007> --consumer.config config/consumer.properties Shell命令需要在目录“客户端安装目录/Kafka/kafka/bin”下执行。 凡可指定“ * ”值以代表all value，且格式为“--参数 参数值”, 例如：
<Kafka集群IP:21007> --consumer.config config/consumer.properties Shell命令需要在目录“客户端安装目录/Kafka/kafka/bin”下执行。 凡可指定“ * ”值以代表all value，且格式为“--参数 参数值”, 例如：
来说建议配置一个默认资源组，如果没有设置默认资源组，而又不符合其他资源组选择器条件则查询会被拒绝。选择器规则参数配置请参见表3。 表3 选择器规则 配置项 必选/可选 配置说明 user 可选 匹配用户名的正则表达式。 source 可选 匹配请求源，参见选择器属性的配置中--source选项的配置值。
作系统选取其中一个版本安装即可，使用uname -p命令确认当前操作系统架构。 MRS 3.2.0及之后版本，使用对应的easy_install命令，安装dependency_python3.x文件夹下的egg文件，egg文件存在依赖关系，可使用通配符安装，如： “dependency_python3
是，执行3。 否，执行以下命令生成公私钥： ssh-keygen -t rsa 以omm用户登录oozie实例所在节点，执行以下命令配置互信： ssh-copy-id -i ~/.ssh/id_rsa.pub 运行SSH任务的用户@运行SSH任务的节点的IP地址 执行该命令后需要输入运行SSH任务的用户的密码。
同步Hive表配置 参数 描述 默认值 hoodie.datasource.hive_sync.enable 是否同步hudi表信息到hive metastore。 注意： 建议该值设置为true，统一使用hive管理hudi表。 false hoodie.datasource.hive_sync
入安全认证代码，确保MapReduce程序能够正常运行。 安全认证有两种方式： 命令行认证： 提交MapReduce应用程序运行前，在MapReduce客户端执行如下命令获得认证。 kinit 组件业务用户 代码认证： 通过获取客户端的principal和keytab文件在应用程序中进行认证。
将互信场景下的同名用户其中一个集群的认证凭据及其配置文件放入“../src/main/resources/hadoopDomain”目录下，将另一集群的配置文件放入“../src/main/resources/hadoop1Domain”目录下。其中： 配置文件为准备运行环境配置文件获取的“core-site
应用程序中需要写入安全认证代码，确保MapReduce程序能够正常运行。 安全认证有两种方式。 命令行认证 提交MapReduce应用程序运行前，在MapReduce客户端执行如下命令获得认证。 kinit 组件业务用户 代码认证 通过获取客户端的principal和keytab文件在应用程序中进行认证。
入安全认证代码，确保MapReduce程序能够正常运行。 安全认证有两种方式： 命令行认证： 提交MapReduce应用程序运行前，在MapReduce客户端执行如下命令获得认证。 kinit 组件业务用户 代码认证： 通过获取客户端的principal和keytab文件在应用程序中进行认证。
keytab”和“krb5.conf”文件以及准备运行环境配置文件时获取的所有配置文件放置在样例工程的“kafka-examples\src\main\resources”目录下。 安装IntelliJ IDEA和JDK工具后，需要在IntelliJ IDEA配置JDK。 不同的IDEA版本的操作步骤
若需要在本地Windows调测HBase样例代码，需参考表1放置各样例项目所需的配置文件： 表1 放置各样例项目所需的配置文件 样例工程位置 需放置的配置/认证文件 hbase-examples/hbase-example（单集群场景） 需将准备运行环境配置文件获取的“core-site.xml”、“hbase-site
配置HDFS冷热数据迁移 配置场景 冷热数据迁移工具根据配置的策略移动HDFS文件。配置策略是条件或非条件规则的集合。如果规则匹配文件集，则该工具将对该文件执行一组行为操作。 冷热数据迁移工具支持以下规则和行为。 迁移规则： 根据文件的最后访问时间迁移数据 根据年龄时间迁移数据（修改时间）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
