检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
删除HBase二级索引 功能简介 一般都通过调用org.apache.hadoop.hbase.hindex.client.HIndexAdmin中方法进行HBase二级索引的管理,该类中提供了索引的查询和删除等方法。 代码样例 以下代码片段在com.huawei.bigdata
到所有table。 代码样例 以下代码片段在“hbase-rest-example\src\main\java\com\huawei\hadoop\hbase\examples”包的“HBaseRestTest”类的getAllUserTables方法中。 private void
使用distcp命令拷贝空文件夹报错 问题背景与现象 通过MRS客户端使用以下distcp命令,无法从HDFS复制空文件夹到OBS。 hadoop distcp -Dfs.obs.endpoint=xxx -Dfs.obs.access.key=xxx -Dfs.obs.secret
se数据。 “Import”通过“org.apache.hadoop.hbase.mapreduce.Import”方法导入已导出至HDFS中的HBase数据。 “ImportTsv”通过“org.apache.hadoop.hbase.mapreduce.ImportTsv”可将TSV格式的数据加载到HBase中。
执行如下命令删除从“row_start”到“row_stop”的行,并且把输出结果定向到“/output/destdir/”。 hbase com.huawei.hadoop.hbase.tools.bulkload.DeleteData -Ddelete.rowkey.start="row_start" -Ddelete
问: zstd压缩算法有什么优势? 答: ZSTD(全称为Zstandard)是一种开源的无损数据压缩算法,其压缩性能和压缩比均优于当前Hadoop支持的其他压缩格式。 具体详细请参考https://github.com/L-Angel/compress-demo。 父主题: 产品咨询类
YARN Java API接口介绍 关于YARN的详细API可以直接参考官方网站上的描述:http://hadoop.apache.org/docs/r3.1.1/api/index.html 常用接口 YARN常用的Java类有如下几个。 ApplicationClientProtocol
创建HBase表Region 功能简介 一般通过org.apache.hadoop.hbase.client.HBaseAdmin进行多点分割。注意:分割操作只对空Region起作用。 本例使用multiSplit进行多点分割将HBase表按照“-∞~A”“A~D”、“D~F”、
ive' version/hadoop (GET) 描述 获取服务器Hadoop的版本 URL http://www.myserver.com/templeton/v1/version/hadoop 参数 无 返回结果 表6 version/hadoop接口返回结果说明 参数 描述
代码样例 获取集群版本信息 以下代码片段在“hbase-rest-example\src\main\java\com\huawei\hadoop\hbase\examples”包的“HBaseRestTest”类的getClusterVersion方法中。 private void
YARN Java API接口介绍 关于YARN的详细API可以直接参考官方网站上的描述: http://hadoop.apache.org/docs/r3.1.1/api/index.html 常用接口 YARN常用的Java类有如下几个。 ApplicationClientProtocol
普通模式下,用户不需要登录即可连接RestServer服务。所以请将“hbase-rest-example\src\main\java\com\huawei\hadoop\hbase\examples”包的“HBaseRestTest”类的main方法中与登录相关代码语句如下所示进行注释:
置。 set mapreduce.output.fileoutputformat.compress.codec=org.apache.hadoop.io.encryption.arc4.ARC4BlockCodec; set hive.exec.compress.output=true;
Flink日志介绍 日志描述 日志存储路径: Flink作业运行日志:“${BIGDATA_DATA_HOME}/hadoop/data${i}/nm/containerlogs/application_${appid}/container_{$contid}”。 运行中的任务日
在使用Hue WebUI访问HDFS文件时,报如下图所示无法访问的错误提示,该如何处理? 回答 查看登录Hue WebUI的用户是否具有“hadoop”用户组权限。 查看HDFS服务是否安装了HttpFS实例且运行正常。如果未安装HttpFS实例,需手动安装并重启Hue服务。 父主题:
执行如下命令更新从“row_start”到“row_stop”的行,并且把输出结果定向到“/output/destdir/”。 hbase com.huawei.hadoop.hbase.tools.bulkload.UpdateData -Dupdate.rowkey.start="row_start" -Dupdate
查看MRS集群补丁信息 查看集群组件的补丁信息。如果集群组件,如Hadoop或Spark等出现了异常,可下载补丁版本,修复问题。 登录MRS管理控制台。 选择“现有集群”,选中一集群并单击集群名,进入集群基本信息页面。 进入“补丁管理”页面,可查看当前MRS集群补丁信息。 补丁版本信息如下:
py”中,修改“hadoop.hadoop.com”为“hadoop.实际域名”。实际域名可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信 > 本端域” 查看。 先使用kinit命令获取kerberos认证的缓存。 使用准备集群认证用户信息中创建的开发用户执行以下命令运行客户端程序:
据实际安装目录修改。 source /opt/client/bigdata_env 判断集群认证模式。 安全模式,执行kinit命令进行用户认证。 例如,使用oozieuser用户进行认证。 kinit oozieuser 普通模式,执行4。 执行以下命令,进入样例目录。 cd
通过ThriftServer实例向HBase表中写入数据 功能简介 传入ThriftServer实例所在host和提供服务的port,根据认证凭据及配置文件新建Thrift客户端,访问ThriftServer,分别使用put和putMultiple进行写数据操作。 代码样例 方法调用