检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
因此，不支持用户对HDFS上的HBase目录进行quota值设置。上述问题可通过下述步骤解决： 在客户端命令提示符下运行kinit 用户名命令，使HBase用户获得安全认证。 运行hdfs dfs -count -q/hbase/data/<namespace>/<tableName>命令检查分配的磁盘空间quota。
因此，不支持用户对HDFS上的HBase目录进行quota值设置。上述问题可通过下述步骤解决： 在客户端命令提示符下运行kinit 用户名命令，使HBase用户获得安全认证。 运行hdfs dfs -count -q/hbase/data/<namespace>/<tableName>命令检查分配的磁盘空间quota。
client”。 cd /opt/client 执行以下命令，配置环境变量。 source bigdata_env 执行以下命令，进行用户认证。（普通模式跳过此步骤） kinit 组件业务用户 执行以下命令，切换到Kafka客户端安装目录。 cd Kafka/kafka/bin
单击“配置”，检查Hue配置项“HUE_FLOAT_IP”和“HTTP_PORT”是否正确。 是，执行4。 否，修改正确的Hue服务浮动IP地址与端口。 在业务网络执行telnet HUE节点IP HTTP_PORT或者telnet HUE_FLOAT_IP HTTP_PORT，检查端口是否对外开放。
java。 本章节只适用于MRS产品Storm与Kafka组件间的访问。本章中描述的jar包的具体版本信息请以实际情况为准。 应用开发操作步骤 确认华为MRS产品Storm和Kafka组件已经安装，并正常运行。 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src\storm-e
件同分布的特性是，将那些需进行关联操作的文件存放在相同的数据节点上，在进行关联操作计算时，避免了到别的数据节点上获取数据的动作，大大降低了网络带宽的占用。 Client HDFS Client主要包括五种方式：JAVA API、C API、Shell、HTTP REST API、WEB
件同分布的特性是，将那些需进行关联操作的文件存放在相同的数据节点上，在进行关联操作计算时，避免了到别的数据节点上获取数据的动作，大大降低了网络带宽的占用。 Client HDFS Client主要包括五种方式：JAVA API、C API、Shell、HTTP REST API、WEB
置，确保用户名密码正确，及远端主机的安全组已增加SSH(22)端口的入方向规则。然后从2执行重新开始下载客户端。 连接到服务器失败，请检查网络连接或参数设置。 生成客户端会占用大量的磁盘IO，不建议在集群处于安装中、启动中、打补丁中等非稳态场景下载客户端。 父主题： HDFS应用开发常见问题
keytab、krb5.conf）。user.keytab和krb5.conf文件为安全模式下的认证文件，需要在FusionInsight Manager中下载principal用户的认证凭证，样例代码中使用的用户为：super，需要修改为准备好的开发用户。 打包项目 通过IDEA
site.xml。 Map输出与压缩 mapreduce.map.output.compress 参数解释：指定了Map任务输出结果可以在网络传输前被压缩。这是一个per-job的配置。 默认值：true 参数入口：需要在客户端进行配置，配置文件路径：客户端安装目录/HDFS/h
quorum=spark25:2181,spark 26:2181,spark27:2181 设置客户端与ThriftServer连接的超时时间。 Beeline 在网络拥塞的情况下，这个特性可以避免beeline由于无限等待服务端的返回而挂起。使用方式如下： 启动beeline时，在后面追加“--sock
educer的数据传输量。需要在客户端进行配置。 mapreduce.map.output.compress指定了Map任务输出结果可以在网络传输前被压缩。这是一个per-job的配置。 mapreduce.map.output.compress.codec指定用于压缩的编解码器。
k-submit脚本（运行的应用中带SQL操作），不支持使用proxy user参数去提交任务。另外，由于本文档中涉及的样例程序已添加安全认证，建议不要使用proxy user参数去提交任务。 基本概念 RDD 即弹性分布数据集（Resilient Distributed Dat
束任务的Web UI，可以通过Spark2x JobHistory服务或者REST接口访问。 本章节仅支持安全模式（开启了Kerberos认证）集群。 运行中任务Web UI ACL配置。 运行中的任务，可通过服务端对如下参数进行配置。 “spark.admin.acls”：指定Web
切换到客户端安装目录。 例如：cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 执行以下命令进行用户认证。(普通模式跳过此步骤) kinit 组件业务用户 执行以下命令登录客户端工具。 zkCli.sh -server ZooKeeper角色实例所在节点业务IP:
自定义，请咨询系统管理员。执行cd命令进入客户端安装目录，然后执行source bigdata_env。 如果集群采用安全版本，要进行安全认证。 执行kinit hdfs命令，按提示输入密码。向MRS集群管理员获取密码。 执行hdfs dfs -rm -r 文件或目录路径命令，确认删除无用的文件。
bigdata_env source Spark/component_env 安全模式执行以下命令，普通模式无需执行： kinit test，输入密码完成认证（首次登录需要修改密码） 使用Spark的beeline命令提交任务，创建Spark表： spark-beeline create table
使用omm用户执行gsql -p 20051 -U omm -W password -d hivemeta登录Hive元数据库。命令中如果携带认证密码信息可能存在安全风险，在执行命令前建议关闭系统的history命令记录功能，避免信息泄露。 执行select * from pg_locks;没有发现锁等待。
自定义，请咨询系统管理员。执行cd命令进入客户端安装目录，然后执行source bigdata_env。 如果集群采用安全版本，要进行安全认证。 执行kinit hdfs命令，按提示输入密码。向MRS集群管理员获取密码。 执行hdfs dfs -rm -r 文件或目录路径命令，确认删除无用的文件。
切换到客户端安装目录。 例如：cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 执行以下命令进行用户认证。(普通模式跳过此步骤) kinit 组件业务用户 执行以下命令登录客户端工具。 zkCli.sh -server ZooKeeper角色实例所在节点业务IP:
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
