检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
例如,备份数据的输入目录为“/user/hbase/”,作业的输出路径为/opt/client/sftp/sftp1,其中sftp1只起到一个占位符的作用。执行如下命令,数据将备份到/opt/client/sftp/hbase目录。 ./run.sh /user/hbase/ 父主题: 客户端工具说明
成连接hiveserver失败。 操作步骤 登录FusionInsight Manager 页面,选择“系统 > 权限 > 用户”,在待操作用户的“操作”栏下选择“更多 > 下载认证凭据”,选择集群信息后单击“确定”,下载keytab文件。 解压keytab文件,使用WinSCP工具将解压得到的“user
成连接HiveServer失败。 操作步骤 登录FusionInsight Manager 页面,选择“系统 > 权限 > 用户”,在待操作用户的“操作”栏下选择“更多 > 下载认证凭据”,选择集群信息后单击“确定”,下载keytab文件。 解压keytab文件,使用WinSCP工具将解压得到的“user
spoolDir 查看TAILDIR监控目录,执行命令:cat properties.properties | grep parentDir 指定服务器上用户自定义已经存在的数据监控目录。 查看Flume Agent运行用户对步骤13所指定的监控目录是否有可读可写可执行权限。 是,执行17。
MRS集群是否支持重装系统? 问: MRS集群是否支持重装系统? 答: MRS集群内节点操作系统为ECS初始镜像,不支持重装操作系统。 父主题: 节点管理类
BY子句不会对插入的数据产生影响,是个冗余的操作,会对整个INSERT语句的整体性能产生负面影响,因此HetuEngine会跳过ORDER BY操作。 ORDER BY只作用于SELECT子句: INSERT INTO some_table SELECT * FROM another_table ORDER BY
onfig scp HDFS/config/* root@客户端节点IP地址:/opt/client/conf 表2 配置文件 文件名称 作用 core-site.xml 配置HDFS详细参数。 hdfs-site.xml 配置HDFS详细参数。 “conf”目录下的“log4j
对应了一个ClickHouse实例节点。 internal_replication表示副本间是否为内部复制,当通过集群向分片插入数据时会起作用。 默认配置为true,表示只向其中的一个副本写入数据(副本间通过复制表来完成同步,能保证数据的一致性)。 如果配置为false(不建议配
进入解压后的“FusionInsight_Cluster_1_Services_ClientConfig”文件夹,获取表1中配置文件。 表1 配置文件 获取路径 配置文件 作用 Yarn\config core-site.xml 配置Hadoop Core详细参数。 hbase-site.xml 配置HBase详细参数。
该复制到新的数据库位置。 如果表是聚合表,则应将所有聚合表复制到新的数据库位置。 如果旧集群使用HIVE元数据库来存储表结构,则刷新将不起作用,因为文件系统中不存在表结构定义schema文件。 示例 REFRESH TABLE dbcarbon.productSalesTable;
scp HDFS/config/* root@客户端节点IP地址:/opt/Bigdata/client/conf 表2 配置文件 文件名称 作用 core-site.xml 配置HDFS详细参数。 hdfs-site.xml 配置HDFS详细参数。 用户可根据实际需要配置“conf”目录下的“log4j
为:“/srv/BigData/data2”,则执行以下命令: mount /dev/vdb2 /srv/BigData/data2 弹性云服务器重启后,挂载会失效。您可以修改“/etc/fstab”文件,将新建磁盘分区设置为开机自动挂载,具体请参见设置开机自动挂载磁盘分区。 参见访问FusionInsight
通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 若运行“Spark on HBase”样例程序,需要在Spark客户端的“spark-defaults
通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 若运行“Spark on HBase”样例程序,需要在Spark客户端的“spark-defaults
大数据组件都有自己的WebUI页面管理自身系统,但是由于网络隔离的原因,用户并不能很简便地访问到该页面。 例如访问HDFS的WebUI页面,传统的操作方法是需要用户创建ECS,使用ECS远程登录组件的UI,这使得组件的页面UI访问很是繁琐,对于很多初次接触大数据的用户很不友好。 MRS提供了基于弹性公网IP来便捷访问
登录HDFS时会使用到如表1所示的配置文件。这些文件均已导入到“hdfs-example”工程的“conf”目录。 表1 配置文件 文件名称 作用 获取地址 core-site.xml 配置HDFS详细参数。 MRS_Services_ClientConfig\HDFS\config\core-site
通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 若运行“Spark on HBase”样例程序,需要在Spark客户端的“spark-defaults
通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 若运行“Spark on HBase”样例程序,需要在Spark客户端的“spark-defaults
一步”: 委托名称:填写委托名称,例如:mrs_clickhouse_obs。 委托类型:选择“云服务”。 云服务:选择“弹性云服务器 ECS 裸金属服务器 BMS”。 持续时间:选择“永久”。 图4 创建委托 在弹出授权页面的搜索框内,搜索“OBS OperateAccess”策略,并勾选“OBS
lient/conf 准备集群认证用户信息获取的keytab文件也放置于该目录下,主要配置文件说明如表1所示。 表1 配置文件 文件名称 作用 core-site.xml 配置Flink详细参数。 hdfs-site.xml 配置HDFS详细参数。 yarn-site.xml 配置Yarn详细参数。