检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
文件错误导致上传文件到HDFS失败 问题背景与现象 用hadoop dfs -put把本地文件拷贝到HDFS上，有报错。 上传部分文件后，报错失败，从NameNode原生页面看，临时文件大小不再变化。 原因分析 查看NameNode日志“/var/log/Bigdata/hdfs
close() 使用完毕后关闭连接。 表5 HDFS客户端WebHdfsFileSystem接口说明 接口 说明 public RemoteIterator<FileStatus> listStatusIterator(final Path) 该API有助于通过使用远程迭代的多个请求获取子
close() 使用完毕后关闭连接。 表5 HDFS客户端WebHdfsFileSystem接口说明 接口 说明 public RemoteIterator<FileStatus> listStatusIterator(final Path) 该API有助于通过使用远程迭代的多个请求获取子
Hive应用开发常用概念 客户端 客户端直接面向用户，可通过Java API、Thrift API访问服务端进行Hive的相关操作。本文中的Hive客户端特指Hive client的安装目录，里面包含通过Java API访问Hive的样例代码。 HiveQL语言 Hive Query
1/hadoop-project-dist/hadoop-hdfs/WebHDFS.html 准备运行环境 安装客户端。在节点上安装客户端，如安装到“/opt/client”目录，可参考“安装客户端”。 在客户端目录准备文件“testFile”和“testFileAppend”，文件内容分别“Hello
在告警列表中，查看“Hive服务不可用”告警是否清除。 是，处理完毕。 否，执行25。 检查HDFS临时目录权限。 登录客户端所在节点，执行以下命令进入HDFS客户端安装目录。 cd 客户端安装目录 source bigdata_env kinit 具有supergroup组权限的用户（普通集群跳过该步骤）
补丁安装后操作 升级客户端 如果有使用自主安装的客户端（集群内、外新下载客户端），需要执行客户端升级操作。 登录集群主节点并执行以下命令： cd /opt/Bigdata/patches/{MRS补丁版本号}/download/ 将补丁安装包拷贝到客户端机器/opt/目录下： scp
补丁安装后操作 升级客户端 如果有使用自主安装的客户端（集群内、外新下载客户端），需要执行客户端升级操作。 登录集群主节点并执行以下命令： cd /opt/Bigdata/patches/{MRS补丁版本号}/download/ 将补丁安装包拷贝到客户端机器/opt/目录下： scp
补丁安装后操作 升级客户端 如果有使用自主安装的客户端（集群内、外新下载客户端），需要执行客户端升级操作。 登录集群主节点并执行以下命令： cd /opt/Bigdata/patches/{MRS补丁版本号}/download/ 将补丁安装包拷贝到客户端机器/opt/目录下： scp
如果查询包含交叉连接，请启用此属性，以便不会发生错误，此时使用交叉连接而不是连接，可实现更好的性能。 在Spark Driver端的“spark-defaults.conf”文件中配置以下参数。 在spark-sql模式下配置：登录Spark客户端节点，在“{客户端安装目录}/Sp
通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 若运行“Spark on HBase”样例程序，需要在Spark客户端的“spark-defaults
通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 若运行“Spark on HBase”样例程序，需要在Spark客户端的“spark-defaults
setJarByClass(Class< > cls) 核心接口，指定执行类所在的jar包本地位置。java通过class文件找到执行jar包，该jar包被上传到HDFS。 setJar(String jar) 指定执行类所在的jar包本地位置。直接设置执行jar包所在位置，该jar包被上传到HDFS。与
已安装HBase客户端，例如安装目录为“/opt/client”。以下操作的客户端目录只是举例，请根据实际安装目录修改。在使用客户端前，需要先下载并更新客户端配置文件，确认Manager的主管理节点后才能使用客户端。 操作步骤 以客户端安装用户，登录安装HBase客户端的节点。 进入HBase客户端安装目录：
to_cli.sh客户端创建表存储在OBS中。 Presto对接OBS 未开启Kerberos认证的集群 使用客户端安装用户，登录已安装客户端的节点。 执行以下命令配置环境变量： cd 客户端安装目录 source bigdata_env 执行如下命令连接客户端。 presto_cli
结束BulkLoad客户端程序导致作业执行失败 问题 执行BulkLoad程序导入数据时，如果结束客户端程序，为什么有时会导致已提交的作业执行失败？ 回答 BulkLoad程序在客户端启动时会生成一个partitioner文件，用于划分Map任务数据输入的范围。 此文件在BulkLoad客户端退出时会被自动删除。
配置HDFS客户端元数据缓存提高读取性能 操作场景 通过使用客户端缓存元数据块的位置来提高HDFS读取性能。 此功能仅用于读取不经常修改的文件。因为在服务器端由某些其他客户端完成的数据修改，对于高速缓存的客户端将是不可见的，这可能导致从缓存中拿到的元数据是过期的。 本章节适用于MRS
通过客户端启动HetuEngine集群超时如何处理 问题 通过客户端启动集群，集群启动时间过长会等待超时并退出等待界面。 回答 等待集群启动超时，会自动退出等待界面，用户可以等待集群启动成功后再重新登录。 用户还可以在HSConsole页面上查看集群的运行状态当集群处于运行中状态时再重新登录。
配置外网客户端访问Kafka Broker 本章节适用于MRS 3.2.0及之后版本。 操作场景 外网环境Kafka客户端访问部署在内网的Kafka Broker，需开启Kafka内外网分流访问。 前提条件 Broker所在节点同时具有内网IP和外网IP，Broker绑定在内网I
在主集群关闭期间，ReplicationSyncUp工具将使用来自ZooKeeper节点的信息同步主备集群的数据，并且RegionServer znode的wals将被移动到备集群下。 限制和约束 如果备集群处于关闭状态或关闭了对等关系，该工具正常运行，只有该对等关系复制不会发生。 父主题：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
