检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
据库名/表名"; 配置Spark基于Hive MetaStore方式对接OBS： 已完成配置Hive基于MetaStore方式对接OBS相关配置操作。 登录FusionInsight Manager，选择“集群 > 服务 > Spark > 配置 > 全部配置 ”。 在左侧的导航列表中选择“SparkResource
warehouse.dir配置 保存配置，然后单击“集群 > 服务”，在服务列表中重启Hive服务。 更新客户端配置文件。 登录Hive客户端所在的节点，执行以下命令修改Hive客户端配置文件目录下的“hivemetastore-site.xml”。 vi 客户端安装目录/Hive/co
选择“数据源”，单击“添加数据源”。在“添加数据源”页面填写参数。 配置“基本配置”，填写数据源名称，选择数据源类型“JDBC > IoTDB”。 配置“IoTDB配置”，参数配置请参考表1。 表1 IoTDB配置 参数 描述 取值样例 驱动 默认为“iotdb”。 iotdb JDBC
request) Client通过此接口获取授权票据，用于container访问相应的service。 getNewApplication(GetNewApplicationRequest request) Client通过此接口获取一个新的应用ID号，用于提交新的应用。 getQueu
request) Client通过此接口获取授权票据，用于container访问相应的service。 getNewApplication(GetNewApplicationRequest request) Client通过此接口获取一个新的应用ID号，用于提交新的应用。 getQueu
Spark客户端和服务端权限参数配置说明 SparkSQL权限管理功能相关的配置如下所示，客户端与服务端的配置相同。要使用表权限功能，需要在服务端和客户端添加如下配置。 “spark-defaults.conf”配置文件 表1 参数说明（1） 参数 描述 默认值 spark.sql
部系统的用户可以在本系统中使用。每个系统用户安全使用的范围定义为“域”，不同的Manager系统需要定义唯一的域名。跨Manager访问实际上就是用户跨域使用。集群配置互信具体操作步骤请参考集群互信管理章节。 多集群互信场景下，以符合跨域访问的用户身份，使用从其中一个manage
xml"), false); return conf; } 前提条件 已获取样例工程运行所需的配置文件及认证文件，详细操作请参见准备连接HBase集群配置文件。 配置安全登录 请根据实际情况，在hbase-example样例工程的“com.huawei.bigdata.hbase
同步MRS集群组件配置参数 当用户发现部分组件或实例的状态超期或失败时，您可以尝试使用同步配置功能，以恢复配置状态。或者集群中所有服务的配置状态为失败时，同步指定服务的配置数据与后台配置数据。 若集群中所有服务的配置状态为“失败”时，同步集群的配置数据与后台配置数据。 若集群中某
快速配置参数 概述 本节介绍Spark2x使用过程中快速配置常用参数和不建议修改的配置参数。 快速配置常用参数 其他参数在安装集群时已进行了适配，以下参数需要根据使用场景进行调整。以下参数除特别指出外，一般在Spark2x客户端的“spark-defaults.conf”文件中配置。
使用FlinkSQL时支持设置行级别过滤条件，可以使指定用户只能访问授权过的行，隐藏未授权的行数据。 前提条件 集群已启用Kerberos认证（安全模式），已安装Ranger、Hive、Flink等服务且服务运行正常。 已创建需要配置权限的用户、用户组或Role，且用户已加入hive组。 该
efaults.conf配置文件中，在spark.driver.extraJavaOptions和spark.executor.extraJavaOptions配置项中添加参数："-verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps"
实际运用中，HetuEngine管理员可选择通过配置“维护实例”等，开启物化视图的自动创建与自动刷新功能。业务用户可以通过配置客户端Session来获得基于自动创建的物化视图的自动改写与提速。 该能力可以极大降低用户使用物化视图功能的使用难度，带来业务无感知的分析加速效果。Het
Spark常用配置参数 概述 本节介绍Spark使用过程中的常用配置项。以特性为基础划分子章节，以便用户快速搜索到相应的配置项。如果用户使用MRS集群，本节介绍的参数大部分已经适配好，用户无需再进行配置。少数需要用户根据实际场景配置的参数，请参见快速配置Spark参数。 配置Stage失败重试次数
给集群配置有OBS访问权限的委托 请参考配置MRS集群通过IAM委托对接OBS配置OBS访问权限的委托。 配置的委托对该集群上所有用户（包括内置用户）及用户组生效，如需对集群上的用户及用户组访问OBS的权限进行控制请继续执行后续步骤。 配置OBS路径权限时，如果配置了写权限，
默认情况下，系统会将container日志收集到HDFS中。如果您不需要将container日志收集到HDFS中，可以配置参数见表3。具体配置操作请参考修改集群服务配置参数。 表3 参数说明 配置参数 说明 默认值 yarn.log-aggregation-enable 设置是否将container日志收集到HDFS中。
配置Flume通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，Flume即可运行OBS作业。 本章节适用于MRS 3.x及之后的版本。 Flume对接OBS 创建用于存放数据的OBS文件夹。 登录OBS控制台。 单击“并行文件系统”进入并行文件系统页面。
当前版本Hudi写入操作主推Spark，因此Hudi的调优和Spark比较类似。 推荐资源配置 mor表： 由于其本质上是写增量文件，调优可以直接根据Hudi的数据大小（dataSize）进行调整。 dataSize如果只有几个G，推荐跑单节点运行spark，或者yarn模式但是只分配一个container。
开启“SNMP服务”开关。 MRS 3.x之前版本 登录MRS Manager，单击“系统设置”。 在“配置”区域“监控和告警配置”下，开启“SNMP配置”开关。 根据表1所示的说明填写对接参数。 表1 对接参数 参数 示例 参数说明 版本 V3 SNMP协议版本号，取值范围： V2C：低版本，安全性较低。
存储配置 参数 描述 默认值 hoodie.parquet.max.file.size Hudi写阶段生成的parquet文件的目标大小。对于DFS，这需要与基础文件系统块大小保持一致，以实现最佳性能。 120 * 1024 * 1024 byte hoodie.parquet.block
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
