检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
启用集群间拷贝功能备份集群数据 操作场景 当用户需要将保存在HDFS中的数据从当前集群备份到另外一个集群时,需要使用DistCp工具。DistCp工具依赖于集群间拷贝功能,该功能默认未启用。两个集群都需要配置。 该任务指导MRS集群管理员在MRS修改参数以启用集群间拷贝功能。 对系统的影响
ClickHouse数据库应用开发 在ClickHouse的使用过程中,由于使用不规范的方式访问和查询,导致业务失败的情况时有发生。此外,偶尔也会发生因为网络闪断等导致连接和查询失败的情况。 MRS提供了ClickHouse的样例代码工程,旨在提供连接重试机制和规范化用户连接和查询的方法,从
Metastore元数据JDBC链接的URL。 外置MySQL,则值为: jdbc:mysql://MySQL的IP:MySQL的端口/test?characterEncoding=utf-8 外置Postgres,则值为: jdbc:postgresql://Postgres的IP:Postgres的端口号/test
在“恢复配置”指定需要恢复的数据。 支持恢复元数据和业务数据。 各组件不同数据的恢复任务操作请参考备份恢复MRS集群数据。 单击“确定”保存。 在恢复任务列表,可以查看刚创建的恢复任务。 在指定的恢复任务“操作”列,单击“执行”,可以立即运行恢复任务。 创建元数据恢复任务(MRS 2.x及之前版本)
SELECT查询表数据 本章节主要介绍ClickHouse查询表数据的SQL基本语法和使用说明。 基本语法 SELECT [DISTINCT] expr_list [FROM [database_name.]table | (subquery) | table_function]
Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(MySQL、PostgreSQL等)间进行数据的传递,可以将一个关系型数据库(例如:MySQL、Oracle、PostgreSQL等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。
配置DBService备份任务超时时间 操作场景 针对DBService备份任务执行的默认超时时间为2小时,在DBService中数据量过大时,任务执行时间会超过2小时导致备份任务执行失败。 该操作指导用户调整DBService备份任务的超时时间。 前提条件 DBService服务运行正常。
作该表的权限。 获取MySQL数据库使用的用户和密码。 检查磁盘空间,确保没有出现告警且余量满足导入、导出数据的大小。 如果设置的作业需要使用指定YARN队列功能,该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限,并获取该任务对应的连接的使用权限。
在“任务名称”填写本地快速恢复任务的名称。 在“备份配置”选择数据源。 在“可恢复点列表”选择一个包含目标备份数据的恢复点。 在“队列名称”填写任务执行时使用的Yarn队列的名称。需和集群中已存在且状态正常的队列名称相同。 在“数据配置”选择需要恢复的对象。 单击“校验”,界面显示“校验恢复任务配置成功”。
图2展示了使用IoTDB套件的全部组件形成的整体应用架构,IoTDB特指其中的时间序列数据库组件。 图2 IoTDB结构 用户可以通过JDBC/Session将来自设备传感器上采集的时序数据和服务器负载、CPU内存等系统状态数据、消息队列中的时序数据、应用程序的时序数据或者其他数据库中的时序数据导
Manager,选择“运维 > 备份恢复 > 备份管理”。 在任务列表指定任务的“操作”列,选择“更多 > 查询历史”,打开备份任务执行历史记录。 在弹出的窗口中,在指定一次执行成功记录的“备份路径”列,单击“查看”,打开此次任务执行的备份路径信息,查找以下信息: “备份对象”表示备份的数据源。 “备份路径”表示备份文件保存的完整路径。
快速模式,利用了数据库的导入工具,如MySQL的mysqlimport,可以比jdbc连接的方式更为高效的将数据导入到关系数据库中。 -update-key <col-name> 后面接条件列名,通过该参数可以将关系数据库中已经存在的数据进行更新操作,类似于关系数据库中的update操作。
ClickHouse数据库调优 ClickHouse调优思路 ClickHouse系统调优 ClickHouse SQL调优 ClickHouse参数调优实践 父主题: ClickHouse应用开发规范
在任务列表指定任务的“操作”列,选择“更多 > 查询历史”,打开备份任务执行历史记录。 在弹出的窗口中,在指定一次执行成功记录的“备份路径”列,单击“查看”,打开此次任务执行的备份路径信息,查找以下信息: “备份对象”表示备份的数据源。 “备份路径”表示备份文件保存的完整路径。 选择
作该表的权限。 获取MySQL数据库使用的用户和密码。 检查磁盘空间,确保没有出现告警且余量满足导入、导出数据的大小。 如果设置的作业需要使用指定YARN队列功能,该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限,并获取该任务对应的连接的使用权限。
ClickHouse数据库运维 ClickHouse日志管理 ClickHouse日志管理规则 ClickHouse日志详细信息 表运维 父主题: ClickHouse应用开发规范
出数据的大小。 如果设置的作业需要使用指定YARN队列功能,该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限,并获取该任务对应的连接的使用权限。 操作前需要进行如下配置: 获取关系型数据库对应的驱动jar包保存在Loader服务主备节点的lib路
SELECT查询表数据 本章节主要介绍ClickHouse查询表数据的SQL基本语法和使用说明。 基本语法 SELECT [DISTINCT] expr_list [FROM [database_name.]table | (subquery) | table_function]
出数据的大小。 如果设置的作业需要使用指定YARN队列功能,该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限,并获取该任务对应的连接的使用权限。 操作前需要进行如下配置: 获取关系型数据库对应的驱动jar包保存在Loader服务主备节点的lib路
一个DataBase内,只允许有一个正在执行的恢复作业。 Doris数据恢复支持最小分区(Partition)级别的操作,当表的数据量很大时,建议按分区分别执行,以降低失败重试的代价。 因为备份恢复操作,操作的都是实际的数据文件。所以当一个表的分片过多,或者一个分片有过多的小版本