检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
备份HBase业务数据 操作场景 为了确保HBase日常数据安全,或者系统管理员需要对HBase进行重大操作(如升级或迁移等)时,需要对HBase业务数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。 系统管理员可以通过FusionInsight
准备MRS应用开发用户 操作场景 开发用户用于运行样例工程。进行不同服务的组件开发时,需要赋予不同的用户权限。 操作步骤 登录FusionInsight Manager。 在FusionInsight Manager界面选择“系统 > 权限 > 角色 > 添加角色”。 填写角色的
ALM-45440 ClickHouse副本间不一致 告警解释 当ClickHouse副本数大于1时,系统周期性对复制表进行检查,若数据不同步,则发送告警。副本间所有复制表数据同步后,告警清除。 告警属性 告警ID 告警级别 是否可自动清除 45440 次要 是 告警参数 参数名称
loader-tool工具使用示例 操作场景 loader-tool工具支持通过作业模板或参数选项的方式,对连接器或者作业进行创建、更新、查询、删除等操作。 本文将以“从SFTP服务器导入数据到HDFS”的作业为例,通过引用作业模板的方式,介绍loader-tool工具的使用方法。
loader-tool工具使用示例 操作场景 loader-tool工具支持通过作业模板或参数选项的方式,对连接器或者作业进行创建、更新、查询、删除等操作。 本文将以“从SFTP服务器导入数据到HDFS”的作业为例,通过引用作业模板的方式,介绍loader-tool工具的使用方法。
导入并配置ClickHouse样例工程 背景信息 获取ClickHouse开发样例工程,将工程导入到IntelliJ IDEA开始样例学习。 前提条件 确保本地PC的时间与集群的时间差要小于5分钟,若无法确定,请联系系统管理员。集群的时间可通过FusionInsight Manager页面右下角查看。
导入并配置ClickHouse样例工程 背景信息 获取ClickHouse开发样例工程,将工程导入到IntelliJ IDEA开始样例学习。 前提条件 确保本地PC的时间与集群的时间差要小于5分钟,若无法确定,请联系系统管理员。集群的时间可通过FusionInsight Manager页面右下角查看。
n 在FusionInsight Manager管理界面,选择“集群 > 服务 > HDFS > 实例”,单击指定的DataNode实例并切换到“实例配置”页签。 将配置项“dfs.datanode.data.dir”从默认值“%{@auto.detect.datapart.dn
Yarn与其他组件的关系 Yarn和Spark组件的关系 Spark的计算调度方式,可以通过Yarn的模式实现。Spark共享Yarn集群提供丰富的计算资源,将任务分布式的运行起来。Spark on Yarn分两种模式:Yarn Cluster和Yarn Client。 Yarn
恢复ClickHouse业务数据 操作场景 在用户意外修改、删除或需要找回数据时,集群用户对ClickHouse进行重大操作(如升级、重大数据调整等)后,系统数据出现异常或未达到预期结果,模块全部故障无法使用,或者迁移数据到新集群的场景中,需要对ClickHouse进行恢复数据操作。
查看Master1节点 使用root用户登录Master1节点,密码为购买集群时配置的用于登录集群节点的“root”用户自定义密码。 执行以下命令切换到客户端软件包所在目录,并解压客户端软件包: cd /tmp/FusionInsight-Client/ tar -xvf FusionI
所有镜像均支持Cloud-init特性。Cloud-init预配置的用户名“root”,密码为创建集群时设置的密码。首次登录建议修改。 在弹性云服务器,切换到root用户,并将安装包复制到目录“/opt”。 sudo su - root cp /tmp/MRS_Flume_Client.tar
se-*/clickhouse/keytab/clickhouse.keytab 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到ClickHouse客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 执
Manager的日志,具体操作如下: 下载并安装Yarn客户端(例安装目录:/opt/client)。 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执
还可单击“导出全部”,在“保存类型”选择“TXT”或“CSV”,单击“确定”导出所有主机的信息。系统默认为“主机视图”,单击“角色视图”切换视图类型,也可单击编辑按钮自定义各视图展示的内容。 表2 主机视图类型说明 视图类型 说明 主机视图 主要显示每个主机的IP地址信息、机架
n 在FusionInsight Manager管理界面,选择“集群 > 服务 > HDFS > 实例”,单击指定的DataNode实例并切换到“实例配置”页签。 将配置项“dfs.datanode.data.dir”从默认值“%{@auto.detect.datapart.dn
udf/data/externalFunctions”,单击上传UDF函数包。 使用HDFS命令行上传。 登录HDFS服务客户端所在节点,切换到客户端安装目录,例如“/opt/client”。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env
'{print $2}' | awk -F 'fusioninsight' '{print $1}' 使用“su - Flume安装用户”命令切换到Flume安装用户,执行cd Flume客户端安装目录/fusioninsight-flume-1.9.0/conf/命令,进入Flume的配置目录。
本章节涉及到所有的用户自定义密码,需满足以下复杂度要求: 至少包含大写字母、小写字母、数字、特殊符号4种类型字符 至少8位,最多64位 出于安全考虑,建议用户定期更换自定义密码(例如三个月更换一次),并重新生成各项证书和信任列表。 在FusionInsight Manager管理界面,选择“系统 > 权限 > 用户”,选择“更多
se-*/clickhouse/keytab/clickhouse.keytab 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到ClickHouse客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 执