检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备MapReduce开发和运行环境 准备开发环境 在进行应用开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows 7以上版本。 运行环境：Windows系统或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。
每个SQL语句的信息如下表3。 表3 SQL的常用信息 参数 描述 id SQL语句的ID status SQL语句的执行状态，有RUNNING、COMPLETED、FAILED三种 runningJobs SQL语句产生的job中，正在执行的job列表 successedJobs
支持，左右表可选择使用watermark或者时间范围进行状态清理 Left Outer 有条件的支持，左表可选择使用watermark进行状态清理，右表必须使用watermark+时间范围 Right Outer 有条件的支持，右表可选择使用watermark进行状态清理，左表必须使用watermark+时间范围
动后C段时间的任务启用流控功能。 配置描述 在Spark Driver端的“spark-defaults.conf”配置文件中进行设置。 表1 参数说明 参数 说明 默认值 spark.streaming.kafka.direct.lifo 配置是否开启Kafka后进先出功能。 false
使用MySQL客户端连接Doris数据库时报错“plugin not enabled”如何处理 问题现象 使用MySQL客户端连接Doris数据库时报错： ERROR 2059 (HY000): Authentication plugin 'mysql_clear_password'
listIndices() 该API可用于列出给定表中的所有索引。 无 基于HBase本地二级索引查询数据 在具有索引的用户表中，可以使用Filter来查询数据。对于创建单索引和组合索引的用户表，使用过滤器查询的结果与没有使用索引的表相同，但数据查询性能高于没有使用索引的表。 索引的使用规则如下： 对于为一个或多个列创建单个索引的情况：
ALM-18008 Yarn ResourceManager堆内存使用率超过阈值（2.x及以前版本） 告警解释 系统每30秒周期性检测Yarn ResourceManager堆内存使用率，并把实际的Yarn ResourceManager堆内存使用率和阈值相比较。当Yarn Re
ALM-43011 JDBCServer进程非堆内存使用超出阈值（2.x及以前版本） 告警解释 系统每30秒周期性检测JDBCServer进程非堆内存使用状态，当检测到JDBCServer进程非堆内存使用率超出阈值（最大内存的90%）时产生该告警。 告警属性 告警ID 告警级别 可自动清除
tablename.to.index：表示需修改索引状态的数据表的名称。 idx_state_opt：表示修改索引的目标状态，可选参数如下： indexnames.to.inactive：表示将指定的索引转换为INACTIVE状态。 indexnames.to.active：表示将指定的索引转换为ACTIVE状态。
使用Hcatalog方式同步Hive和MySQL之间的数据，timestamp和data类型字段会报错 问题 使用Hcatalog方式同步Hive和MySQL之间的数据，timestamp和data类型字段会报错： 回答 调整Sqoop源码包中的代码，将timestamp强制转换类型和Hive保持一致。
Master页面展示了Backup Master的信息，如图2所示。 图2 Backup Masters基本信息 Tables页面显示了HBase中表的信息，包括User Tables、Catalog Tables、Snapshots，如图3所示。 图3 Tables基本信息 Tasks页
HDFS HTTP REST API接口介绍 功能简介 REST应用开发代码样例中所涉及的文件操作主要包括创建文件、读写文件、追加文件、删除文件。完整和详细的接口请参考官网上的描述以了解其使用： http://hadoop.apache.org/docs/r3.1.1/hadoo
在IDEA界面左下方单击“Terminal”进入终端，执行命令mvn clean package进行编译。 当输出“BUILD SUCCESS”，表示编译成功，如下图所示。编译成功后将会在样例工程的target下生成含有“-with-dependencies”字段的jar包。 运行JDBC样例程序：
Oozie Rest接口介绍 常用接口与JAVA一样。 Java API主要由org.apache.oozie.client.OozieClient提供。 详情请参见http://oozie.apache.org/docs/5.1.0/WebServicesAPI.html。 父主题：
_ip_list= native_dataSource_ip_list= 表1 配置说明表 配置名称 默认值 含义 loadBalancerIPList - 必填参数，配置为LoadBalance的IP列表。 登录FusionInsight Manager，选择“集群 > 服务 >
如何采用Java命令提交Spark应用 问题 除了spark-submit命令提交应用外，如何采用Java命令提交Spark应用？ 回答 您可以通过org.apache.spark.launcher.SparkLauncher类采用java命令方式提交Spark应用。详细步骤如下：
从checkpoint恢复spark应用的限制 问题 Spark应用可以从checkpoint恢复，用于从上次任务中断处继续往下执行，以保证数据不丢失。但是，在某些情况下，从checkpoint恢复应用会失败。 回答 由于checkpoint中包含了spark应用的对象序列化信息
MapReduce访问多组件样例程序 MapReduce访问多组件样例程序开发思路 MapReduce访问多组件样例代码 父主题： 开发MapReduce应用
常见jar包冲突处理方式 问题现象 Spark能对接很多的第三方工具，因此在使用过程中经常会依赖一堆的三方包。而有一些包MRS已经自带，这样就有可能造成代码使用的jar包版本和集群自带的jar包版本不一致，在使用过程中就有可能出现jar包冲突的情况。 常见的jar包冲突报错有： 1、报错类找不到：java
使用admin用户访问组件的WebUI界面报错或部分功能不可用 问： 访问HDFS、Hue、Yarn、Flink、HetuEngine等组件的WebUI界面报错，或部分功能不可用怎么办？ 答： 访问HDFS、Hue、Yarn、Flink、HetuEngine等组件的WebUI的用
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
