如需了解国际站更多云产品，请访问国际站。https://www.huaweicloud.com/intl/
不再显示此消息
如需了解国际站更多云产品，请访问国际站。https://www.huaweicloud.com/intl/
不再显示此消息
使用多线程Consumer消费消息 功能介绍 在使用Consumer API订阅安全Topic并消费基础上，实现了多线程并发消费，可根据Topic的Partition数目启动相应个数的Consumer线程来对应消费每个Partition上的消息。
Spark Structured Streaming样例程序（Java） 功能介绍 在Spark应用中，通过使用StructuredStreaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。
Spark Structured Streaming样例程序（Java） 功能介绍 在Spark应用中，通过使用StructuredStreaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。
Spark Structured Streaming样例程序（Python） 功能介绍 在Spark应用中，通过使用StructuredStreaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。
表1 参数介绍 参数 参数说明 取值示例 spark.sql.parquet.compression.codec 对于非分区parquet表，设置其存储文件的压缩格式。
表1 Doris权限列表 权限名称 权限介绍 Node_priv 节点变更权限。包括FE、BE、DBroker节点的添加、删除、下线等操作。 该权限只能赋予Global级别。 Admin_priv 除Node_priv以外的所有权限。
元数据管理器使用介绍 访问Hue WebUI，请参考访问Hue WebUI界面。 查看Hive表的元数据 在左侧导航栏单击表，单击某一表名称，界面将显示Hive表的元数据信息。 管理Hive表的元数据 在Hive表的元数据信息界面： 单击右上角的“导入”可导入数据。
表1 参数介绍 参数 描述 取值示例 spark.sql.files.maxPartitionBytes 在读取文件时，将单个分区打包的最大字节数。 单位：byte。
元数据管理器使用介绍 访问Hue WebUI，请参考访问Hue WebUI界面。 查看Hive表的元数据 在左侧导航栏单击表，单击某一表名称，界面将显示Hive表的元数据信息。 管理Hive表的元数据 在Hive表的元数据信息界面： 单击右上角的“导入”可导入数据。
为增大数据存储容量，创建集群时可同时添加磁盘，每个Core或者Task节点最多支持添加10块磁盘，有如下应用场景： 数据存储和计算分离，数据存储在OBS中，集群存储成本低，存储量不受限制，并且集群可以随时删除，但计算性能取决于OBS访问性能，相对HDFS有所下降，建议在数据计算不频繁场景下使用
操作步骤 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src/iotdb-examples”目录下的样例工程，可根据实际业务场景选择对应的样例，相关样例介绍请参见IoTDB样例工程介绍。
创建FileSystem对象：fSystem。 调用fSystem的mkdir接口创建目录。 调用fSystem的create接口创建FSDataOutputStream对象：out，使用out的write方法写入数据。
参考信息 OBS证书过期请参考如何处理集群内部OBS证书过期。 父主题： MRS集群告警处理参考
numberOfSubscribedJobs：为订阅本NettySink的作业数量，该数量必须是明确的，只有当所有订阅者都连接上NettySink，NettySink才发送数据。
numberOfSubscribedJobs：为订阅本NettySink的作业数量，该数量必须是明确的，只有当所有订阅者都连接上NettySink，NettySink才发送数据。
参考信息 OBS证书过期请参考如何处理集群内部OBS证书过期。 父主题： MRS集群告警处理参考
图1 聚合日志失败页面 回答 原因：弹出的URL地址（如https://<hostname>:20026/Spark2x/JobHistory2x/xx/history/application_xxx/jobs/），其中的<hostname>没有在Windows系统的hosts文件中添加域名信息
图1 聚合日志失败页面 回答 原因：弹出的URL地址（如https://<hostname>:20026/Spark2x/JobHistory2x/xx/history/application_xxx/jobs/），其中的<hostname>没有在Windows系统的hosts文件中添加域名信息
“作业浏览器”将显示作业以下信息： 表1 MRS作业属性介绍 属性名 描述 名称 表示作业的名称。 用户 表示启动该作业的用户。 类型 表示作业的类型。 状态 表示作业的状态，包含“成功”、“正在运行”、“失败”。 进度 表示作业运行进度。 组 表示作业所属组。
Spark Structured Streaming样例程序（Scala） 功能介绍 在Spark应用中，通过使用StructuredStreaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
您即将访问非华为云网站，请注意账号财产安全
