检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
同步MRS集群组件配置参数 当用户发现部分组件或实例的状态超期或失败时，您可以尝试使用同步配置功能，以恢复配置状态。或者集群中所有服务的配置状态为失败时，同步指定服务的配置数据与后台配置数据。 若集群中所有服务的配置状态为“失败”时，同步集群的配置数据与后台配置数据。 若集群中某
优化Flink Netty网络通信参数 操作场景 Flink通信主要依赖netty网络，所以在Flink应用执行过程中，netty的设置尤为重要，网络通信的好坏直接决定着数据交换的速度以及任务执行的效率。 操作步骤 以下配置均可在客户端的“conf/flink-conf.yaml
bin/yarn-session.sh -n 3 yarn-session.sh的其他参数可以通过以下命令获取： bin/yarn-session.sh -help Flink 使用flink命令可以提交Flink作业，作业既可以被提交到一个常驻的Flink集群上，也可以使用单机模式运行。
CarbonData性能调优常见配置参数 操作场景 CarbonData的性能与配置参数相关，本章节提供了能够提升性能的相关配置介绍。 操作步骤 用于CarbonData查询的配置介绍，详情请参见表1和表2。 表1 Shuffle过程中，启动Task的个数 参数 spark.sql.shuffle
将显示该服务的全部配置参数导航树，导航树从上到下的根节点分别为服务名称和角色名称。 在服务节点下的参数属于服务级别的配置参数，在角色节点下的参数是角色级别的配置参数，可参考修改MRS角色实例参数。 在导航树选择指定的参数，修改参数值。支持在“搜索”输入参数名直接搜索并显示结果。 图2
配置Hive通过Guardian访问OBS 参考配置Guardian服务对接OBS完成Guardian对接OBS后，即可在Hive客户端创建存储在OBS并行文件系统中的表。 Hive对接OBS MRS集群支持Hive服务基于Metastore方式对接OBS。 配置Hive基于MetaStore方式对接OBS：
列举预编译语句（prepared statement）的输入参数，以及参数位置，每个输入参数的类型。对于未确定的参数类型，会显示为unknown。 示例 准备一个预编译的语句，且有三个输入参数，然后罗列该预编译语句的参数列表： PREPARE my_select1 FROM SELECT
run.compact.only.inline 通过Sql执行run compaction命令时，是否只执行压缩操作，压缩计划不存在时直接退出。 false 父主题： Hudi常见配置参数
优化Flink Netty网络通信参数 操作场景 Flink通信主要依赖netty网络，所以在Flink应用执行过程中，netty的设置尤为重要，网络通信的好坏直接决定着数据交换的速度以及任务执行的效率。 操作步骤 以下配置均可在客户端的“conf/flink-conf.yaml
CarbonData性能调优常见配置参数 操作场景 CarbonData的性能与配置参数相关，本章节提供了能够提升性能的相关配置介绍。 操作步骤 用于CarbonData查询的配置介绍，详情请参见表1和表2。 表1 Shuffle过程中，启动Task的个数 参数 spark.sql.shuffle
-client-config.sh命令刷新集群内置客户端。 创建OBS并行文件系统 登录OBS控制台。 选择“并行文件系统 > 创建并行文件系统”。 填写文件系统名称，例如“guardian-obs”。 企业项目需要与MRS集群保持一致，其他参数请根据需要填写。 单击“立即创建”。
存储配置 参数 描述 默认值 hoodie.parquet.max.file.size Hudi写阶段生成的parquet文件的目标大小。对于DFS，这需要与基础文件系统块大小保持一致，以实现最佳性能。 120 * 1024 * 1024 byte hoodie.parquet.block
- 服务配置参数 可选参数，用于为本次执行的作业修改服务配置参数。 该参数的修改仅适用于本次执行的作业，如需对集群永久生效，请参考修改MRS集群组件配置参数进行集群组件配置参数的修改。 如需添加多个参数，请单击右侧的“添加”按钮。 例如增加以下服务配置参数： fs.obs.access
index相关配置 参数 描述 默认值 hoodie.index.class 用户自定义索引的全路径名，索引类必须为HoodieIndex的子类，当指定该配置时，其会优先于hoodie.index.type配置。 "" hoodie.index.type 使用的索引类型，默认为布隆过滤器。可能的选项是[BLOOM
预处理一条语句，以便以后执行。预处理语句是将查询保存在给定名称的会话中。语句可以包含参数，以代替执行时要替换的文本，参数用问号表示。 示例 预处理查询 PREPARE my_select1 FROM SELECT * FROM fruit; 预处理一个包含参数的查询，在EXECUTE语句中，与regionkey和nationkey比较的值会被替换
色或实例的配置参数中，与初始默认值不一致的参数项。 单击参数值后面的图标可快速恢复配置项的参数值至系统默认值，单击图标可查看该配置项的历史修改记录。 配置参数较多时，可通过界面右上角的服务过滤框进行筛选，或者在搜索框中直接搜索关键字。 如需修改配置项参数值，根据参数描述修改配置后
需指定此参数为true，以实现同步timestamp类型到hive元数据中。该值默认为false，默认将timestamp类型同步为bigInt，默认情况可能导致使用sql查询包含timestamp类型字段的hudi表出现错误。 true 父主题： Hudi常见配置参数
配置Flink通过Guardian访问OBS 参考配置Guardian服务对接OBS完成Guardian对接OBS后，即可在Flink客户端访问OBS并行文件系统并运行作业。 Flink对接OBS 使用安装客户端的用户登录Flink客户端安装节点。 执行如下命令初始化环境变量。 source
field产生主键和分区方式。 说明： 写入设置KeyGenerator与表保存的参数值不一致时将提示需要保持一致。 org.apache.hudi.keygen.ComplexKeyGenerator 父主题： Hudi常见配置参数
create子命令为provider中<keyname>参数指定的name创建一个新的密钥，provider是由-provider参数指定。用户可以使用参数-cipher定义一个密码。目前默认的密码为"AES/CTR/NoPadding"。 默认密钥的长度为128。用户可以使用参数-si
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
