检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
若需要在本地Windows调测HBase样例代码,需参考表1放置各样例项目所需的配置文件: 表1 放置各样例项目所需的配置文件 样例工程位置 需放置的配置/认证文件 hbase-examples/hbase-example(单集群场景) 需将准备运行环境配置文件获取的“core-site.xml”、“hbase-site
载具体实例的环境变量。 source bigdata_env source Spark2x/component_env kinit <用于认证的业务用户> 在bin目录下调用以下脚本提交Spark应用程序。 spark-submit --classcom.huaweixxx.bigdata
自定义,请咨询系统管理员。执行cd命令进入客户端安装目录,然后执行source bigdata_env。 如果集群采用安全版本,要进行安全认证。 执行kinit hdfs命令,按提示输入密码。向MRS集群管理员获取密码。 执行hdfs dfs -rm -r 文件或目录路径命令,确认删除无用的文件。
当业务正常时需要恢复数据,建议手动备份最新管理数据后,再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的IoTDB数据。 对系统的影响 恢复过程中会停止用户认证,用户无法开始新的连接。 数据恢复后,会丢失从备份时刻到恢复时刻之间的数据。 数据恢复后,需要重新启动IoTDB的上层应用。 前提条件 如
Manager页面,选择“集群 > 概览 > 更多 > 下载客户端”,“选择客户端类型”设置为“完整客户端”,根据待安装客户端节点的节点类型选择正确的平台类型后(x86选择x86_64,ARM选择aarch64)单击“确定”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 例如
'false' -- 关闭Archive操作 Spark离线完成Compaction计划的执行,以及Clean和Archive操作 在调度平台(可以使用华为的DataArts)运行一个定时调度的离线任务来让Spark完成Hudi表的Compaction计划执行以及Clean和Archive操作。
表。 图4 主机资源概况 基础配置(CPU/内存) 鼠标放置饼图上会显示当前区域集群中各节点不同硬件配置下的配置信息及数量,格式为:核数(平台类型)内存大小:数量。 单击相应区域,会在下方显示相应的主机列表。 磁盘配置 横轴为节点上磁盘总容量(包含OS盘),纵轴为逻辑磁盘数量(包含OS盘)。
用WinScp工具将Storm客户端安装包导入Linux环境并安装客户端,参见准备Linux客户端环境。 如果集群启用了安全服务,需要从管理员处获取一个“人机”用户,用于认证,并且获取到该用户的keytab文件。将获取到的文件拷贝到示例工程的 src/main/resources目录。 获取的用户需要同时属于storm组和kafka组。
Hudi/component_env kinit 创建的用户 新创建的用户需要修改密码,更改密码后重新kinit登录。 普通模式(未开启kerberos认证)无需执行kinit命令。 多服务场景下,在source bigdata_env之后,请先source Spark服务的component_env,再去source
t”。 cd /opt/kafkaclient 执行以下命令,配置环境变量。 source bigdata_env 执行以下命令,进行用户认证(普通模式跳过此步骤)。 kinit 组件业务用户 执行以下命令,切换到Kafka客户端目录。 cd Kafka/kafka/bin 执行
private static void init() throws ClassNotFoundException { // 认证用的密码写入代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全; // 本示
https://console.huaweicloud.com/apiexplorer/#/endpoint/OBS 。 配置文件中包含认证密码信息可能存在安全风险,建议当前场景执行完毕后删除相关配置文件或加强安全管理。 修改HDFS客户端“core-site.xml”文件中的“fs
解决查看指定时间段内的资源概况,监控数据部分缺失问题 解决NameNode退服缓存残留问题 解决Metastore监控指标缺失问题 解决认证krb_test_user失败问题 解决Yarn所有业务中断,报错Timer already cancelled问题 解决实例配置页面无单位转换问题
损坏,也有可能是集群上的LdapServer数据损坏,此时数据损坏的LdapServer进程将无法对外提供服务,影响Manager和集群的认证功能。 可能原因 LdapServer进程所在的节点网络故障。 LdapServer进程异常。 OS重启导致的LdapServer数据损坏。
载具体实例的环境变量。 source bigdata_env source Spark2x/component_env kinit <用于认证的业务用户> 在bin目录下调用以下脚本提交Spark应用程序。 spark-submit --classcom.huawei.bigdata
户自定义,请咨询系统管理员。执行cd命令进入客户端安装目录,然后执行source bigdata_env。如果集群采用安全版本,要进行安全认证,执行kinit hdfs命令,按提示输入密码(向MRS集群管理员获取密码)。如果集群采用非安全版本,需使用omm用户登录并执行命令,请确保omm用户具有客户端执行权限。
自定义,请咨询系统管理员。执行cd命令进入客户端安装目录,然后执行source bigdata_env。 如果集群采用安全版本,要进行安全认证。 执行kinit hdfs命令,按提示输入密码。向MRS集群管理员获取密码。 执行hdfs dfs -rm -r 文件或目录路径命令,确认删除无用的文件。
3.0及之后版本集群请在“主页”右上方单击“下载客户端”),“选择客户端类型”设置为“完整客户端”,根据待安装客户端节点的节点类型选择正确的平台类型后(x86选择x86_64,ARM选择aarch64)单击“确定”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 例如
3.0及之后版本集群请在“主页”右上方单击“下载客户端”),“选择客户端类型”设置为“完整客户端”,根据待安装客户端节点的节点类型选择正确的平台类型后(x86选择x86_64,ARM选择aarch64)单击“确定”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 例如
Manager页面“服务管理 > Ranger > 实例”中查看主RangerAdmin节点IP。 输入的证书密码为用户自定义密码。命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 登录MRS管理控制台。 选择“现有集群”,单击集群名称进入集群详情页面。