检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看MRS集群日志 MRS集群日志概述 查看MRS云服务操作日志 查看历史MRS集群信息 查看MRS集群审计日志 查看MRS组件角色实例日志 在线检索MRS集群日志 下载MRS集群日志 采集MRS集群服务堆栈信息 配置MRS组件默认日志级别与归档文件大小 配置MRS集群审计日志本地备份数
xxx:21005 mytopic 10 开发思路 接收Kafka中数据，生成相应DataStreamReader。 进行分类统计。 计算结果，并进行打印。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“
配置”，打开Kafka服务配置页面。 开启Token认证机制。 查找配置项“delegation.token.master.key”，该配置指定用于生成和验证Token的主密钥。先查看是否已经配置，如果已配置且不为null，则表示Token认证机制是开启的，不用重新配置（重新配置会导致之前生产的Token无法使用）。
xxx:21005 mytopic 10 开发思路 接收Kafka中数据，生成相应DataStreamReader。 进行分类统计。 计算结果，并进行打印。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“
配置”，打开Kafka服务配置页面。 开启Token认证机制。 查找配置项“delegation.token.master.key”，该配置指定用于生成和验证Token的主密钥。先查看是否已经配置，如果已配置且不为null，则表示Token认证机制是开启的，不用重新配置（重新配置会导致之前生产的Token无法使用）。
fmt.Println(err) } } 更多编程语言的SDK代码示例，请参见API Explorer的代码示例页签，可生成自动对应的SDK代码示例。 状态码 状态码 描述 204 删除数据连接成功 错误码 请参见错误码。 父主题： 数据连接管理
动态分区插入场景内存优化 操作场景 SparkSQL在往动态分区表中插入数据时，分区数越多，单个Task生成的HDFS文件越多，则元数据占用的内存也越多。这就导致程序GC（Gabage Collection）严重，甚至发生OOM（Out of Memory）。 经测试证明：102
super，需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 将user
Spark异步任务执行表compaction参数设置规范 写作业未停止情况下，禁止手动执行run schedule命令生成compaction计划。 错误示例： run schedule on dsrTable 如果还有别的任务在写这张表，执行该操作会导致数据丢失。 执行run
Spark动态分区插入场景内存优化 操作场景 SparkSQL在往动态分区表中插入数据时，分区数越多，单个Task生成的HDFS文件越多，则元数据占用的内存也越多。这就导致程序GC（Gabage Collection）严重，甚至发生OOM（Out of Memory）。 经测试证
通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“ /opt” ）下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上（文件上传的路径需要和生成的jar包路径一致）。
为：super，需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 将user
通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“ /opt” ）下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上（文件上传的路径需要和生成的jar包路径一致）。
fmt.Println(err) } } 更多编程语言的SDK代码示例，请参见API Explorer的代码示例页签，可生成自动对应的SDK代码示例。 状态码 状态码 描述 204 操作成功。 错误码 请参见错误码。 父主题： 标签管理接口
统计信息为空 问题 通过spark-sql创建Hudi表或者Hive表，未插入数据之前，查询表统计信息都为空。 回答 可以通过以下两种方式生成： 手动通过analyze命令，触发统计信息收集。如果没有插入数据，analyze命令执行完之后，再通过desc formatted ta
Manager，然后选择“服务管理”。 单击“下载客户端”。 “客户端类型”选择“仅配置文件”，“下载路径”选择“服务器端”，单击“确定”开始生成客户端配置文件，文件生成后默认保存在主管理节点“/tmp/MRS-client”。 图1 仅下载客户端的配置文件 登录MRS Manager的主管理节点。
检查Oozie与DBService连接是否异常。 在FusionInsight Manager界面，选择“运维 > 日志 > 在线检索”，选择“Oozie”服务，检索日志关键词“[Oozie Alarm Enhancement][DB Service]”，在日志中查看具体告警原因，并进行处理
检查Oozie与Yarn连接是否异常。 在FusionInsight Manager界面，选择“运维 > 日志 > 在线检索”，选择“Oozie”服务，检索日志关键词“[Oozie Alarm Enhancement][YARN]”，在日志中查看具体告警原因，并进行处理。在告警列表
后三种操作都涉及重排，称为shuffle类操作。 Action操作可以分为如下几种： 生成标量，如count（返回RDD中元素的个数）、reduce、fold/aggregate（返回几个标量）、take（返回前几个元素）。 生成Scala集合类型，如collect（把RDD中的所有元素导入Sca
检查Oozie与ZooKeeper连接是否异常。 在FusionInsight Manager界面，选择“运维 > 日志 > 在线检索”，选择“Oozie”服务，检索日志关键词“[Oozie Alarm Enhancement][ZooKeeper]”，在日志中查看具体告警原因，并进行处理。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
