检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本地snapshot 将在本地集群中创建的表做一个快照,是一个空快照(刚创建的表没有数据),用于在Backend上产生对应的快照目录,接收从远端仓库下载的快照文件。 下载快照 远端仓库中的快照文件,会被下载到对应的生成的快照目录中,由各个Backend并发完成。
迁入节点的ClickHouse数据目录有足够的空间。 操作步骤 登录Manager,选择“集群 > 服务 > ClickHouse”, 在ClickHouse服务界面单击“数据迁移”页签,进入数据迁移界面。 单击“创建迁移任务”。
通过“集群 > 待操作集群的名称 > 服务 > HDFS > 资源 ”,进入HDFS精细化页面。 找到“资源使用(按目录)”监控项,单击该监控项左上角第一个图标。 进入配置空间监控子页面,单击“添加”。
恢复步骤: 在DataNode上配置多个数据目录。
KrbServer及LdapServer基本原理 KrbServer及LdapServer简介 为了管理集群中数据与资源的访问控制权限,推荐安装安全模式集群。在安全模式下,客户端应用程序在访问集群中的任意资源之前均需要通过身份认证,建立安全会话链接。
NONE 输出目录 数据导入到HDFS/OBS里存储的保存目录。 说明: 路径参数可以使用宏定义,具体请参考配置项中使用宏定义。 /user/test 文件操作方式 数据导入时的操作行为。
MRS 3.2.0及之后版本,如果数据库中分区超过百万级,并且分区都在表目录下。
配置字段分割长度,大于原字段值的长度,则数据分割失败,当前行成为脏数据 表输入 原始数据包含NULL值,不做转换处理。 配置输入字段列数,大于原始数据实际包含的字段列数,全部数据成为脏数据。 配置转换字段类型,与原始数据实际类型不同,全部数据成为脏数据。
使用Loader从HDFS/OBS导出数据时,确保HDFS/OBS数据源的输入路径目录名、输入路径的子目录名及子文件名不能包含特殊字符/\"':;,中的任意字符。 如果设置的任务需要使用指定Yarn队列功能,该用户需要已授权有相关Yarn队列的权限。
由于Hive加载数据将HDFS对应数据目录清空,所以需再次执行1。 父主题: 调测MapReduce应用
“RemoteHDFS”:表示备份文件保存在备集群的HDFS目录。 选择此参数值,还需要配置以下参数: “源端NameService名称”:填写备份数据集群的NameService名称。
登录集群客户端所在节点,执行以下命令,切换到客户端安装目录并认证用户。 cd /opt/hadoopclient source bigdata_env kinit HetuEngine组件操作用户 (普通模式集群跳过) 执行以下命令,登录数据源的catalog。
Hive表的HDFS目录被误删,但是元数据仍然存在,导致执行任务报错 问题 Hive表HDFS数据目录被误删,但是元数据仍然存在,导致执行任务报错。 回答 这是一种误操作的异常情况,需要手动删除对应表的元数据后重试。
回答 当用户要对Hive重点数据库、表或目录进行监控,防止“insert overwrite”语句误操作导致数据丢失时,可以利用Hive配置中的“hive.local.dir.confblacklist”进行目录保护。
/employee_info.txt' INTO TABLE employees_info; 加载数据的实质是将数据复制到HDFS上指定表的目录下。
执行以下命令切换用户: sudo su - root su - omm 执行echo ${BIGDATA_DATA_HOME}/dbdata_om命令获取GaussDB的数据目录。 执行df -h命令,查看系统磁盘分区的使用信息。
数据保护技术 数据完整性 通过数据校验,保证数据在存储、传输过程中的数据完整性。 MRS的用户数据保存在HDFS中,HDFS默认采用CRC32C算法校验数据的正确性,同时也支持CRC32校验算法,CRC32C校验速度快于CRC32。
移动数据,将待移动的Partition文件夹移动到目的目录下,移动完成后执行chown omm:wheel -R Partition目录命令修改Partition目录属组。
回答 当用户要对Hive重点数据库、表或目录进行监控,防止“insert overwrite”语句误操作导致数据丢失时,可以利用Hive配置中的“hive.local.dir.confblacklist”进行目录保护。
/employee_info.txt' INTO TABLE employees_info; 加载数据的实质是将数据复制到HDFS上指定表的目录下。