检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink SQL逻辑开发规则 维表lookup join场景维度表个数不超过五个 Hudi维度表都在TM heap中，当维表过多时heap中保存的维表数据过多，TM会不断GC，导致作业性能下降。 【示例】lookup join维表数5个： CREATE TABLE table1(id
Spark Core样例程序（Java） 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection类：
r2的地址连接。 hiveserver2服务的主机名可以在Manager界面选择“集群 > 服务 > Hive > 实例”，在“实例”界面查看“HiveServer”的“主机名称”获取。 在运行样例代码前，需要将样例代码中的PRNCIPAL_NAME改为安全认证的用户名。 父主题：
在FusionInsight Manager首页，选择“集群 > 服务 > HDFS > 配置 > 全部配置”，搜索“GC_OPTS”参数，查看“HDFS->Router”的“GC_OPTS”内存参数。 将“GC_OPTS”参数中“-Xms”、“ -Xmx”的值根据实际情况调大，并保存配置。
通过IntelliJ IDEA可直接运行Producer.java，如图1所示： 图1 运行Producer.java 运行后弹出控制台窗口，可以查看到Producer正在向默认Topic（example-metric1）发送消息，每发送10条，打印一条日志。 图2 Producer运行窗口
Java样例代码 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection类。 样例代码获取方式请参考获取MRS应用开发样例工程。
Spark应用开发常见问题 Spark常用API介绍 structured streaming功能与可靠性介绍 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 由于Kafka配置的限制，导致Spark Streaming应用运行失败
Spark应用开发常见问题 Spark常用API介绍 structured streaming功能与可靠性介绍 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 由于Kafka配置的限制，导致Spark Streaming应用运行失败
createTopology()); } Storm不支持将HDFS的目的文件路径设置为HDFS的SM4加密分区。 部署运行及结果查看 导出本地jar包，请参见打包Storm样例工程应用。 将1导出的本地Jar包，5中获取的配置文件和6中获取的jar包合并统一打出完整的业务jar包，请参见打包Storm业务。
置，从而控制不同的用户可以访问不同的Topic。Topic的权限信息，需要在Linux客户端上，使用“kafka-acls.sh”脚本进行查看和设置。 操作场景 该任务指导Kafka管理员根据业务需求，为其他使用Kafka的系统用户授予相关Topic的特定权限。 Kafka默认用户组信息表所示。
--verify-metadata-file-listing 根据文件系统验证Hudi元数据中的文件列表 N false --help、-h 查看帮助 N false --support-timestamp 将原始类型中'INT64'的TIMESTAMP_MICROS转换为Hive的timestamp
了解更多关于续费的信息，请参见续费概述。 费用账单 您可以在管理控制台选择页面上方的“费用 > 费用账单”，进入费用中心后，在“账单管理”查看与MRS集群相关的流水和明细账单，以便了解您的消费情况。如需了解具体操作步骤，请参见费用账单。 欠费 在使用MRS时，包年/包月集群，没有欠费的概念。
通过“CSV文件输入”算子，生成两个字段a_str和b_str。 源文件如下： 配置“Hive输出”算子，将a_str和b_str输出到Hive的表中。 执行成功后，查看表数据： 父主题： 输出算子
"obs://testhudi/cow_table/"是OBS路径，“testhudi”是OBS并行系统文件名称，请根据实际情况修改。 使用datasource查看表建立成功，数据正常。 val roViewDF = spark. read. format("org.apache.hudi"). load(basePath
重启实例”，重启MetaStore实例。 正在重启的MetaStore实例无法对外提供服务，该实例上正在执行的SQL任务可能失败。 等待MetaStore实例重启完成后，查看该告警是否恢复。 是，操作结束。 否，执行6。 收集故障信息。 在FusionInsight Manager首页，选择“运维 > 日志 >
处理步骤 检查Topic副本数配置。 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，单击此告警所在行的，查看定位信息中上报告警的“主题名”列表。 确认发生告警Topic是否需要增加副本。 是，执行3。 否，执行5。 在FusionInsight客
通过“CSV文件输入”算子，生成两个字段a_str和b_str。 源文件如下： 配置“Hive输出”算子，将a_str和b_str输出到Hive的表中。 执行成功后，查看表数据： 父主题： Loader输出类算子
登录FusionInsight Manager，具体请参见访问集群Manager。然后选择“集群 > 服务 > ZooKeeper > 实例”。 查看ZooKeeper角色实例的IP地址。 记录ZooKeeper角色实例其中任意一个的IP地址即可。 根据业务情况，准备好客户端，参考使用MRS客户端章节，登录安装客户端的节点。
登录FusionInsight Manager，具体请参见访问集群Manager。然后选择“集群 > 服务 > ZooKeeper > 实例”。 查看ZooKeeper角色实例的IP地址。 记录ZooKeeper角色实例其中任意一个的IP地址即可。 根据业务情况，准备好客户端，参考使用MRS客户端章节，登录安装客户端的节点。
Spark应用开发常见问题 Spark常用API介绍 structured streaming功能与可靠性介绍 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 SparkSQL UDF功能的权限控制机制
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
