检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
导入并配置MapReduce样例工程 MapReduce针对多个场景提供样例工程,帮助客户快速学习MapReduce工程。 以下操作步骤以导入MapReduce样例代码为例。 操作步骤 参考获取MRS应用开发样例工程,下载样例工程到本地。 导入样例工程到Eclipse开发环境。 打开Eclipse,选择“File
运行HBase应用开发程序产生ServerRpcControllerFactory异常如何处理 检查应用开发工程的配置文件hbase-site.xml中是否包含配置项hbase.rpc.controllerfactory.class。 <name>hbase.rpc.controllerfactory
MapReduce二次开发远程调试 问题 MapReduce二次开发过程中如何远程调试业务代码? 回答 MapReduce开发调试采用的原理是Java的远程调试机制,在Map/Reduce任务启动时,添加Java远程调试命令。 首先理解两个参数:“mapreduce.map.java
注册UDF 构建Jar包。 构建Jar包方式有以下两种: 方法一: 选择“Maven > 样例工程名称 > Lifecycle > clean”,双击“clean”运行maven的clean命令。 选择“Maven > 样例工程名称 > Lifecycle > install”,
Flink Jar作业提交SQL样例程序开发思路 场景说明 当作业的SQL语句修改频繁时,可使用Flink Jar的方式提交Flink SQL语句,以减少用户工作量。 本场景适用于MRS 3.2.1及以后版本。 开发思路 使用当前样例提交并执行指定的SQL语句,多个语句之间使用分号分隔。
如果拥有权限后还是无法访问该Topic,使用管理员用户登录FusionInsight Manager,选择“集群 > 服务 > Kafka > 配置 > 全部配置”进入Kafka服务配置页面,搜索“allow.everyone.if.no.acl.found”配置项,将该值修改为“true”后,重新运行程序。
在Linux环境中调测ClickHouse应用(MRS 3.3.0及之后版本) ClickHouse应用程序支持在Linux环境中运行。在程序代码完成开发后,您可以上传Jar包至准备好的Linux运行环境中运行。 前提条件 Linux环境已安装JDK,版本号需要和IntelliJ
在Linux环境中调测ClickHouse应用(MRS 3.3.0及之后版本) ClickHouse应用程序也支持在Linux环境中运行。在程序代码完成开发后,您可以上传Jar包至准备好的Linux运行环境中运行。 前提条件 Linux环境已安装JDK,版本号需要和IntelliJ
为了运行MRS产品Hive组件的HCatalog接口样例代码,需要完成下面的操作。 以在Windows环境下开发HCatalog方式连接Hive服务的应用程序为例。 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src\hive-examples”目录下的样例工程文
查询HBase全局二级索引信息 场景介绍 用户可以使用全局二级索引工具批量查看某个数据表相关索引的定义及状态。 查询HBase全局二级索引信息 在HBase客户端执行以下命令可查看索引的定义及状态: hbase org.apache.hadoop.hbase.hindex.global
批量构建HBase全局二级索引数据 场景介绍 在用户的表中预先存在大量数据的情况下,可基于MapReaduce任务,批量构建已有数据的索引数据。 批量构建全局二级索引数据 只有处于INACTIVE状态的索引才能进行批量构建,如需重建索引数据,请先修改索引状态。 数据表中存在大量数
直尝试为同一个NM分配任务。 可以通过两种方式来避免上述问题: 使用其他的nodeSelectPolicy,如RANDOM。 参考修改集群服务配置参数,进入Yarn“全部配置”页面。在搜索框搜索以下参数,通过“yarn-site.xml”文件更改以下属性: “yarn.resourcemanager
为什么含转义字符的输入数据记录到Bad Records中的值与原始数据不同? 问题 为什么含转义字符的输入数据记录到Bad Records中的值与原始数据不同? 回答 转义字符以反斜线"\"开头,后跟一个或几个字符。如果输入记录包含类似\t,\b,\n,\r,\f,\',\",\
如何清理由于建表失败残留在ZooKeeper的table-lock节点下的表名 问题 安全模式下,由于建表失败,在ZooKeeper的table-lock节点(默认路径/hbase/table-lock)下残留有新建的表名,请问该如何清理? 回答 操作步骤如下: 在安装好客户端的
MapReduce任务运行失败,ApplicationMaster出现物理内存溢出异常 问题 HBase bulkload任务有210000个map和10000个reduce,MapReduce任务运行失败,ApplicationMaster出现物理内存溢出异常。 For more
16T的文本数据转成4T Parquet数据失败 问题 使用默认配置时,16T的文本数据转成4T Parquet数据失败,报如下错误信息。 Job aborted due to stage failure: Task 2866 in stage 11.0 failed 4 times
用add jar方式创建function,执行drop function时出现问题 问题 问题一: 用户没有drop function的权限,能够drop成功。具体场景如下: 在FusionInsight Manager页面上添加user1用户,给予用户admin权限,执行下列操作:
告警属性 告警ID 告警级别 是否可自动清除 50224 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。
阈值配置 > 服务 > Mapreduce”修改阈值。当MapReduce JobHistoryServer堆内存使用率小于或等于阈值时,告警恢复。 告警属性 告警ID 告警级别 可自动清除 18009 严重 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。
Streaming任务打印两次相同DAG日志 问题 在使用Spark Streaming时,使用以下命令运行程序: spark-submit -master yarn-client --conf spark.logLineage=true --jars $SPARK_HOME/j