检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark同步HBase数据到CarbonData(Java) 以下为Spark同步HBase数据到CarbonData的Java示例。 下面代码片段仅为演示。 具体代码参见:com.huawei.spark.examples.HBaseExternalHivetoCarbon。
降低MapReduce客户端运行任务失败率 配置场景 当网络不稳定或者集群IO、CPU负载过高的情况下,通过调整如下参数值,降低客户端应用的失败率,保证应用的正常运行。 配置描述 在客户端的“mapred-site.xml”配置文件中调整如下参数。 “mapred-site.xm
Spark同步HBase数据到CarbonData(Java) 以下为Spark同步HBase数据到CarbonData的Java示例。 下面代码片段仅为演示。 具体代码参见:com.huawei.spark.examples.HBaseExternalHivetoCarbon。
禁用HBase全局二级索引 功能简介 全局二级索引的索引状态决定了索引是否有效,通过修改索引状态,可以实现索引的禁用、启用、弃用(不再生成索引数据)等功能。通过调用“org.apache.hadoop.hbase.hindex.global.GlobalIndexAdmin”中的
查询Doris表数据 本章节介绍查询Doris表数据样例代码。 以下代码片段在“JDBCExample”类中。 以Java JDBC方式执行SQl语句查询集群中的dbName.tableName表数据。 String querySql = "select * from " + dbName
禁用HBase全局二级索引 功能简介 全局二级索引的索引状态决定了索引是否有效,通过修改索引状态,可以实现索引的禁用、启用、弃用(不再生成索引数据)等功能。通过调用“org.apache.hadoop.hbase.hindex.global.GlobalIndexAdmin”中的
HDFS样例程序开发思路 场景说明 HDFS的业务操作对象是文件,代码样例中所涉及的文件操作主要包括创建文件夹、写文件、追加文件内容、读文件和删除文件/文件夹;HDFS还有其他的业务处理,例如设置文件权限等,其他操作可以在掌握本代码样例之后,再扩展学习。 本代码样例讲解顺序为: HDFS初始化
FS Action 功能描述 HDFS文件操作节点,支持对HDFS文件及目录的创建、删除、授权功能。 参数解释 FS Action节点中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 name FS活动的名称 delete 删除指定的文件和目录的标签 move 将文件从源目录移动到目标目录的标签
Spark同时访问两个HBase样例程序(Scala) 以下为Spark同时访问两个HBase样例程序的Scala示例。 下面代码片段仅为演示。 具体代码参见:com.huawei.spark.examples.SparkOnMultiHbase def main(args: Array[String]):
使用admin用户访问组件的WebUI界面报错或部分功能不可用 问: 访问HDFS、Hue、Yarn、Flink、HetuEngine等组件的WebUI界面报错,或部分功能不可用怎么办? 答: 访问HDFS、Hue、Yarn、Flink、HetuEngine等组件的WebUI的用
配置Oozie作业操作HDFS文件 功能描述 HDFS文件操作节点,支持对HDFS文件及目录的创建、删除、授权功能。 参数解释 FS Action节点中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 name FS活动的名称 delete 删除指定的文件和目录的标签
HDFS样例程序开发思路 场景说明 HDFS的业务操作对象是文件,代码样例中所涉及的文件操作主要包括创建文件夹、写文件、追加文件内容、读文件和删除文件/文件夹;HDFS还有其他的业务处理,例如设置文件权限等,其他操作可以在掌握本代码样例之后,再扩展学习。 本代码样例讲解顺序为: HDFS初始化
配置Oozie作业操作HDFS文件 功能描述 HDFS文件操作节点,支持对HDFS文件及目录的创建、删除、授权功能。 参数解释 FS Action节点中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 name FS活动的名称 delete 删除指定的文件和目录的标签
FS Action 功能描述 HDFS文件操作节点,支持对HDFS文件及目录的创建、删除、授权功能。 参数解释 FS Action节点中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 name FS活动的名称 delete 删除指定的文件和目录的标签 move 将文件从源目录移动到目标目录的标签
查询Doris表数据 本章节介绍查询Doris表数据样例代码。 以下代码片段在“JDBCExample”类中。 以Java JDBC方式执行SQl语句查询集群中的dbName.tableName表数据。 String querySql = "select * from " + dbName
访问HDFS、Hue、Yarn、Flink、HetuEngine等组件的WebUI界面报错或部分页面不可用如何处理? 问: 访问HDFS、Hue、Yarn、Flink、HetuEngine等组件的WebUI界面报错,或部分功能不可用怎么办? 答: 访问HDFS、Hue、Yarn、
配置Spark多租户模式 配置场景 多租户模式是将JDBCServer和租户绑定,每一个租户对应一个或多个JDBCServer,一个JDBCServer只给一个租户提供服务。不同的租户可以配置不同的Yarn队列,从而达到资源隔离。 Yarn资源不足情况下,不建议开启多租户模式。 配置描述
调测Kafka High level Streams样例程序 在Windows中调测程序 在Windows环境调测程序步骤请参考在Windows中调测程序。 在Linux环境调测程序 编译并生成Jar包,并将Jar包复制到与依赖库文件夹同级的目录“src/main/resourc
Yarn常见问题 任务完成后Container挂载的文件目录未清除 作业执行失败时会发生HDFS_DELEGATION_TOKEN到期的异常 重启YARN,本地日志不被删除 执行任务时AppAttempts重试次数超过2次还没有运行失败 在ResourceManager重启后,应用程序会移回原来的队列
调用SpringBoot接口访问HBase/Phoenix应用安全认证 操作场景 为了运行MRS产品HBase/Phoenix组件的SpringBoot接口样例代码,需要完成下面的操作。 该章节内容适用于MRS 3.3.0及之后版本。 前提条件 已获取样例工程运行所需的配置文件及