检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对接服务器对应的弹性云服务器需要和MRS集群的Master节点在相同的VPC，且Master节点可以访问对接服务器的IP地址和指定端口。 配置MRS集群对接Syslog服务器上报告警 登录Manager，进入SNMP配置界面。 MRS 3.x及之后版本 登录FusionInsight Manager。
弹性公网IP > 为弹性云服务器申请和绑定弹性公网IP”。 记录公网IP和私网IP的对应关系将hosts文件中的私网IP改为对应的公网IP。 将krb5.conf文件中的IP地址修改为对应IP的主机名称。 配置集群安全组规则。 在集群“概览”界面，选择“添加安全组规则 > 管理安全组规则”。
记录公网IP和私网IP的对应关系将hosts文件中的私网IP改为对应的公网IP。 配置集群安全组规则。 在集群“概览”界面，选择“添加安全组规则 > 管理安全组规则”。 在“入方向规则”页签，选择“添加规则”，在“添加入方向规则”窗口配置Windows的IP和8020、9866端口。
记录公网IP和私网IP的对应关系将hosts文件中的私网IP改为对应的公网IP。 配置集群安全组规则。 在集群“概览”界面，选择“添加安全组规则 > 管理安全组规则”。 在“入方向规则”页签，选择“添加规则”，在“添加入方向规则”窗口配置Windows的IP和8020、9866端口。
配置parquet表的压缩格式 配置场景 当前版本对于parquet表的压缩格式分以下两种情况进行配置： 对于分区表，需要通过parquet本身的配置项“parquet.compression”设置parquet表的数据压缩格式。如在建表语句中设置tblproperties："parquet
配置parquet表的压缩格式 配置场景 当前版本对于parquet表的压缩格式分以下两种情况进行配置： 对于分区表，需要通过parquet本身的配置项“parquet.compression”设置parquet表的数据压缩格式。如在建表语句中设置tblproperties："parquet
Manager页面，选择“集群 > 服务 > Kafka > 配置 > 全部配置”，搜索参数“sasl.enabled.mechanisms”，将参数值改为“GSSAPI,PLAIN”。单击“保存”，单击“概览”，选择“更多 > 重启服务”使配置生效 获取“huawei-spring-boot-kafka-examples-*
Spark客户端和服务端权限参数配置说明 SparkSQL权限管理功能相关的配置如下所示，客户端与服务端的配置相同。要使用表权限功能，需要在服务端和客户端添加如下配置。 “spark-defaults.conf”配置文件 表1 参数说明（1） 参数 描述 默认值 spark.sql
区。单个分区被判定为数据倾斜分区的条件为：当一个分区的数据大小超过除此分区外其他所有分区大小的中值与该配置的乘积，并且大小超过spark.sql.adaptive.skewJoin.skewedPartitionThresholdInBytes配置值时，此分区被判定为数据倾斜分区
区。单个分区被判定为数据倾斜分区的条件为：当一个分区的数据大小超过除此分区外其他所有分区大小的中值与该配置的乘积，并且大小超过spark.sql.adaptive.skewJoin.skewedPartitionThresholdInBytes配置值时，此分区被判定为数据倾斜分区。
for JDK”窗口，选择对应的JDK目录，然后单击“OK”。 图5 Select Home Directory for JDK 完成JDK选择后，单击“OK”完成配置。 图6 完成JDK配置 不同的IDEA版本的操作步骤可能存在差异，以实际版本的界面操作为准。 导入样例工程到IntelliJ
able的权限。 在“配置资源权限”的表格中选择“待操作集群的名称 > HBase > HBase Scope > global > default”，勾选表hbaseTable的“读”，单击“确定”保存，授予HBase角色查询表的权限。 编辑角色，在“配置资源权限”的表格中选择“待操作集群的名称
able的权限。 在“配置资源权限”的表格中选择“待操作集群的名称 > HBase > HBase Scope > global > default”，勾选表hbaseTable的“读”，单击“确定”保存，授予HBase角色查询表的权限。 编辑角色，在“配置资源权限”的表格中选择“待操作集群的名称
要在WebUI上查看更多的作业，可以配置参数如表3。具体配置操作请参考修改集群服务配置参数。 表3 参数说明 配置参数 说明 默认值 yarn.resourcemanager.max-completed-applications 设置在WebUI总共显示的历史作业数量。 10000
弹性公网IP > 为弹性云服务器申请和绑定弹性公网IP”。 记录公网IP和私网IP的对应关系将hosts文件中的私网IP改为对应的公网IP。 将krb5.conf文件中的IP地址修改为对应IP的主机名称。 配置集群安全组规则。 在集群“概览”界面，选择“添加安全组规则 > 管理安全组规则”。
配置SparkSQL支持Hudi Schema演进 Schema演进开启后不能关闭。 本章节仅适用于MRS 3.2.0及之前版本。 使用spark-beeline时，需要登录Manager页面，选择“集群 > 服务 > Spark2x > 配置 > 全部配置”。 在搜索栏中搜索参数“spark
输入一个整数，返回其加2后的结果 ScalarFunction avg_double 聚合计算指定列的平均值，且该列的字段类型为double AggregationFunction 创建Maven项目，“groupId”配置“com.test.functions”，“artifactId”配置“my
HetuEngine UDF说明 名称 说明 AddTwo 对输入的数字加2后返回 创建Maven项目，“groupId”配置“com.test.udf”，“artifactId”配置“udf-test”。这个两个值可根据实际情况自定义。 修改“pom.xml”文件如下： <project xmlns="http://maven
ient-example”文件夹中的“pom.xml”文件，单击“OK”。 确认后续配置，单击“Next”；如无特殊需求，使用默认值即可。 选择推荐的JDK版本，单击“Finish”完成导入。 在开发环境IntelliJ IDEA中，样例工程的conf目录下，打开文件“clickhouse-example
test.sql -v 使用FlinkSQL Client提交作业 安装集群客户端，例如安装目录为“/opt/hadoopclient”。 以客户端安装用户，登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。 cd /opt/hadoopclient 执行如下命令初始化环境变量。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
