检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
source bigdata_env 执行以下命令,进行用户认证(普通模式跳过此步骤)。 kinit 组件业务用户 执行以下命令,切换到Kafka客户端安装目录。 cd Kafka/kafka 使用“kafka-configs.sh”进行Kafka流量控制,常用命令如下。
HDFS常见问题 执行distcp命令报错如何处理 HDFS执行Balance时被异常停止如何处理 访问HDFS WebUI时,界面提示无法显示此页 HDFS WebUI无法正常刷新损坏数据的信息 NameNode节点长时间满负载导致客户端无响应 为什么主NameNode重启后系统出现双备现象
开启Kerberos认证的安全集群暂不支持使用该接口提交作业。 调试 您可以在API Explorer中调试该接口。
类中的main方法时,依次调用loginAndAccess、sendHttpPostRequest、sendHttpGetRequest、sendHttpPutRequest、sendHttpDeleteRequest方法,发送POST、GET、PUT、DELETE请求,执行登录认证
HDFS常见问题 执行distcp命令报错如何处理 HDFS执行Balance时被异常停止如何处理 访问HDFS WebUI时,界面提示无法显示此页 HDFS WebUI无法正常刷新损坏数据的信息 NameNode节点长时间满负载导致客户端无响应 为什么主NameNode重启后系统出现双备现象
增大该参数值,可以防止出现双Active NameNode,降低客户端应用运行异常的概率。 单位:毫秒。
增大该参数值,可以防止出现双Active NameNode,降低客户端应用运行异常的概率。 单位:毫秒。
source bigdata_env 执行以下命令,进行用户认证。(普通模式跳过此步骤) kinit 组件业务用户 执行以下命令切换到Kafka客户端安装目录。 cd Kafka/kafka/bin 执行以下命令使用客户端工具查看帮助并使用。 .
source bigdata_env 如果集群为安全模式,执行以下命令认证hdfs身份。 kinit hdfs 是否调整带宽控制? 是,执行5。 否,执行6。 执行以下命令,修改Balance的最大带宽,然后执行6。
对系统的影响 恢复过程中会停止用户认证,用户无法开始新的连接。 数据恢复后,会丢失从备份时刻到恢复时刻之间的数据。 数据恢复后,需要重新启动HDFS的上层应用。 前提条件 如果需要从远端HDFS恢复数据,需要准备备集群,且已完成数据备份,详细操作请参见备份HDFS业务数据。
source bigdata_env 如果集群为安全模式,执行以下命令认证hdfs身份。 kinit hdfs 是否调整带宽控制? 是,执行5。 否,执行6。 执行以下命令,修改Balance的最大带宽,然后执行6。
MRS_3.2.0-LTS.1.10以及之后补丁,修复管控面提交Spark长稳业务中业务jar包和业务表在同一个OBS桶下偶现OBS 403认证过期问题,开启方法(若之前有设置过,则跳过):在Master节点通过ps -ef | grep executor命令确定executor进程
是,存在表且需要同步数据,以HBase表用户登录安装主集群HBase客户端的节点,并执行kinit 用户名认证身份。该用户需要拥有表的读写权限,以及“hbase:meta”表的执行权限。然后执行19。 否,不需要同步数据,任务结束。
恢复过程中会停止用户认证,用户无法开始新的连接。 数据恢复后,会丢失从备份时刻到恢复时刻之间的数据。 数据恢复后,需要重新启动HBase的上层应用。 前提条件 如果需要从远端HDFS恢复数据,需要准备备集群,且已完成数据备份,详细操作请参见备份HBase业务数据。
本文以购买的MRS 3.1.0版本的集群为例,集群未开启Kerberos认证。 集群购买成功后,登录集群的FusionInsight Manager界面,下载集群客户端并解压。
本文以购买的MRS 3.1.0版本的集群为例,组件包含Hadoop、Kafka组件,集群未开启Kerberos认证。 集群购买成功后,在MRS集群的任一节点内,安装集群客户端,具体操作可参考安装并使用集群客户端。
参数x是0到1之间的一个双精度值。x的值超出[0,1]范围将被截断为0或1值。low_color和high_color捕获用于水平条形图任一端的颜色。
Linux中编译并运行程序 进入Linux客户端目录,运行如下命令导入公共环境变量: cd/opt/client sourcebigdata_env 在该目录下用hdfs用户进行命令行认证,用户密码请咨询集群管理员。 kinithdfs kinit一次票据时效24小时。
命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 -table <table-name> MySQL中用于存放导出数据的表名称。 -export-dir <dir> 需要导出的Sqoop表所在的HDFS路径。
Linux中编译并运行程序 进入Linux客户端目录,运行如下命令导入公共环境变量: cd/opt/client sourcebigdata_env 在该目录下用hdfs用户进行命令行认证,用户密码请咨询集群管理员。 kinithdfs kinit一次票据时效24小时。