检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark Streaming对接Kafka0-10样例程序 Spark Streaming对接Kafka0-10样例程序开发思路 Spark Streaming对接Kafka0-10样例程序（Java） Spark Streaming对接Kafka0-10样例程序（Scala）
调整Spark日志级别 配置场景 在某些场景下，当任务已经启动后，用户想要修改日志级别以定位问题或者查看想要的信息。 用户可以在进程启动前，在进程的JVM参数中增加参数“-Dlog4j.configuration.watch=true”来打开动态设置日志级别的功能。进程启动后，就
在MRS集群中升级Master节点规格时需要手动关机吗？ 答： 随着用户业务的增长，Core节点的扩容，CPU使用率变高，而Master节点规格已经不满足用户需求时，则需要升级Master节点规格。 MRS服务集群的Master节点规格升级时会自动触发关机操作，当升级完成后会自动触发开机操作，无需人工干预。
log能否清理？ 问： MRS集群内节点上的sudo log能否清理？ 答： MRS集群内节点上的sudo log文件是omm用户的操作记录，以方便问题的定位，用户可以清理。 因为日志占用了一部分存储空间，建议管理员清除比较久远的操作日志释放资源空间。 日志文件较大，可以将此文件目录添加到“/etc/logrotate
MapReduce接口介绍 MapReduce Java API接口介绍 MapReduce REST API接口介绍 父主题： MapReduce应用开发常见问题
Spark同步HBase数据到CarbonData样例程序 Spark同步HBase数据到CarbonData开发思路 Spark同步HBase数据到CarbonData（Java） 父主题： 开发Spark应用
在Linux环境中调测Spark应用 在Linux环境中编包并运行Spark程序 在Linux环境中查看Spark程序调测结果 父主题： 调测Spark应用
启用Region Transition恢复功能 在HMaster上设置chore服务，用于识别和恢复长期处于transition的region。 登录FusionInsight Manager界面，选择“集群 > 服务 > HBase > 配置”，下表是用于启用此功能的配置参数。 表1 参数描述
启用Region Transition恢复功能 在HMaster上设置chore服务，用于识别和恢复长期处于Transition的Region。 登录FusionInsight Manager界面，选择“集群 > 服务 > HBase > 配置”，下表是用于启用此功能的配置参数。 表1 参数描述
调用API接口创建集群失败 用户问题 按照参考文档创建集群并执行作业，调用创建集群接口：POST /v1.1/{project_id}/run-job-flow返回500。 问题现象 调用创建集群接口：POST /v1.1/{project_id}/run-job-flow返回500。
Spark Structured Streaming状态操作样例程序 Spark Structured Streaming状态操作样例程序开发思路 Spark Structured Streaming状态操作样例程序（Scala） 父主题： 开发Spark应用
收集数据。同时，提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 Flume分为客户端和服务端，两者都是FlumeAgent。服务端对应着FlumeServer实例，直接部署在集群内部。而客户端部署更灵活，可以部署在集群内部，也可以部署在集群外。它们之间没有必然联系
ver，一个JDBCServer只给一个租户提供服务。不同的租户可以配置不同的Yarn队列，从而达到资源隔离。 Yarn资源不足情况下，不建议开启多租户模式。 配置描述 登录Manager，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”，单击“全部配置”，搜索并修改以下参数。
操作步骤 参数入口： 进入Yarn服务参数“全部配置”界面，在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 参数 描述 默认值 mapreduce.map.speculative 设置是否并行执行某些映射任务的多个实例。true表示开启。 false mapreduce
操作步骤 参数入口： 进入Yarn服务参数“全部配置”界面，在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 参数 描述 默认值 mapreduce.map.speculative 设置是否并行执行某些映射任务的多个实例。true表示开启。 false mapreduce
按订单的购买周期计费，最短时长为1个月，最长时长为1年。 秒级计费，按小时结算。 - 适用计费项 MRS服务管理费用、IaaS基础设施资源费用（弹性云服务器，云硬盘）。 MRS服务管理费用、IaaS基础设施资源费用（弹性云服务器，云硬盘）。 计费项 变更计费模式 - 支持变更为包年/包月计费模式。 按需转包年/包月
Spark从Hive读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序开发思路 Spark从Hive读取数据再写入HBase样例程序（Java） Spark从Hive读取数据再写入HBase样例程序（Scala） Spark从Hive读取数据再写入HBase样例程序（Python）
Spark Streaming对接Kafka0-10样例程序 Spark Streaming对接Kafka0-10样例程序开发思路 Spark Streaming对接Kafka0-10样例程序（Java） Spark Streaming对接Kafka0-10样例程序（Scala）
Hudi的自定义配置项样例程序 HoodieDeltaStreamer 自定义排序器 父主题： 开发Spark应用
嵌入式迁移Storm业务 操作场景 该任务指导用户通过嵌入式迁移的方式在Flink的DataStream中嵌入Storm的代码，如使用Storm API编写的Spout/Bolt。 操作步骤 在Flink中，对Storm拓扑中的Spout和Bolt进行嵌入式转换，将之转换为Flink的Operator，代码示例如下：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
