检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
roup，并添加具有ClickHouse权限的角色。 Oozie 人机 加入hadoop、supergroup、hive组。若使用Hive多实例，该用户还需要从属于具体的Hive实例组，如hive3。 GraphBase 人机 加入graphbaseadmin或graphbase
访问Impala WebUI界面 用户可以通过Impala的WebUI，在图形化界面查看Impala作业的相关信息。Impala的WebUI根据实例不同分为如下三种： StateStore WebUI：用于管理节点。 Catalog WebUI：用于查看元数据。 前提条件 已安装Impala服务的集群。
kinit 创建的用户 新创建的用户需要修改密码，更改密码后重新kinit登录。 普通模式（未开启kerberos认证）无需执行kinit命令。 多服务场景下，在source bigdata_env之后，请先source Spark服务的component_env，再去source Hudi的component_env。
-family/collapsingmergetree/。 建议少或不增删数据列 业务提前规划列个数，如果将来有更多列要使用，可以规划预留多列，避免在生产系统跑业务过程中进行大量的alter table modify列操作，导致不可以预知的性能、数据一致性问题。 对于批量数据清理，建议根据分区来操作：
-Djdk.tls.ephemeralDHKeySize=3072 “-Xms2G -Xmx2G”为IoTDB JVM堆内存，对于时间序列多，写入并发量大的场景，需要增大此配置。可以根据GC时长阈值告警或堆内存阈值告警进行调优，如果告警发生，参数值按照0.5倍速率调大。如果告警频
入门实践 当完成MRS集群部署后，可以根据自身的业务需求使用MRS提供的一系列常用实践。 表1 MRS常用最佳实践 实践 描述 数据分析 使用Spark2x实现车联网车主驾驶行为分析 本实践指导使用Spark实现车主驾驶行为分析。用于了解MRS的基本功能，利用MRS服务的Spar
大的随机读性能。单位：字节。 65536 DATA_BLOCK_ENCODING 配置HFile中block块的编码方法。当一行数据中存在多列时，一般可以配置为“FAST_DIFF”，可以有效地节省数据存储的空间，从而提供性能。 NONE 父主题： HBase性能调优
Storm常用参数 本章节内容适用于MRS 3.x及后续版本。 参数入口 参数入口，请参考修改集群服务配置参数。 参数说明 表1 参数说明 配置参数 说明 默认值 supervisor.slots.ports supervisor上能够运行workers的端口列表。每个worke
实时入湖一般的性能要求都在分钟内或者分钟级，结合Hudi两种表模型的对比，因此在实时入湖场景中需要选择MOR表模型。 Hudi表名以及列名采用小写字母。 多引擎读写同一张Hudi表时，为了规避引擎之间大小写的支持不同，统一采用小写字母。 建议 Spark批处理场景，对写入时延要求不高的场景，采用COW表。
oatComparator”，“IntComparator”，“NullComparator”。 二级索引的使用规则如下： 针对某一列或者多列创建了单索引的场景下： 当查询时使用此列进行过滤时，不管是AND还是OR操作，该索引都会被利用来提升查询性能。 例如：Filter_Condition(IndexCol1)
oatComparator”，“IntComparator”，“NullComparator”。 二级索引的使用规则如下： 针对某一列或者多列创建了单索引的场景下： 当查询时使用此列进行过滤时，不管是AND还是OR操作，该索引都会被利用来提升查询性能。 例如：Filter_Condition(IndexCol1)
oatComparator”，“IntComparator”，“NullComparator”。 二级索引的使用规则如下： 针对某一列或者多列创建了单索引的场景下： 当查询时使用此列进行过滤时，不管是AND还是OR操作，该索引都会被利用来提升查询性能。 例如：Filter_Condition(IndexCol1)
批量导出Loader作业 操作场景 Loader支持批量导出已有作业。 前提条件 当前用户具备待导出作业的编辑“Edit”权限或作业所在分组的编辑“Jobs Edit”权限。 操作步骤 登录“Loader WebUI”界面。 登录FusionInsight Manager系统，具体请参见访问集群Manager。
批量导出Loader作业 操作场景 Loader支持批量导出已有作业。 本章节适用于MRS 3.x及后续版本。 前提条件 当前用户具备待导出作业的编辑“Edit”权限或作业所在分组的编辑“Jobs Edit”权限。 操作步骤 登录“Loader WebUI”界面。 登录FusionInsight
将生成的jar包上传至Spark2x运行环境下（Spark2x客户端），如“/opt/female”。 进入客户端目录，执行以下命令加载环境变量并登录。若安装了Spark2x多实例或者同时安装了Spark和Spark2x，在使用客户端连接具体实例时，请执行以下命令加载具体实例的环境变量。 source bigdata_env
oatComparator”，“IntComparator”，“NullComparator”。 二级索引的使用规则如下： 针对某一列或者多列创建了单索引的场景下： 当查询时使用此列进行过滤时，不管是AND还是OR操作，该索引都会被利用来提升查询性能。 例如：Filter_Condition(IndexCol1)
将生成的jar包上传至Spark2x运行环境下（Spark2x客户端），如“/opt/female”。 进入客户端目录，执行以下命令加载环境变量并登录。如果安装了Spark2x多实例或者同时安装了Spark和Spark2x，在使用客户端连接具体实例时，请执行以下命令加载具体实例的环境变量。 source bigdata_env
Ranger基本原理 Apache Ranger提供一个集中式安全管理框架，提供统一授权和统一审计能力。它可以对整个Hadoop生态中如HDFS、Hive、HBase、Kafka、Storm等进行细粒度的数据访问控制。用户可以利用Ranger提供的前端WebUI控制台通过配置相关策略来控制用户对这些组件的访问权限
log”。 jar包运行结果如下： 2023-09-21 09:08:38,944 | INFO | main | loadBalancerIPList is 192.168.5.132, loadBalancerHttpPort is 21422, user is ck_user
group组，设置其“主组”为supergroup。 Oozie 人机 加入hadoop、supergroup、hive组。若使用Hive多实例，该用户还需要从属于具体的Hive实例组，如hive3。 Flink 人机 加入developgroup和hadoop组。设置其“主组”为developgroup。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
