检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建MRS分析集群 登录华为云控制台,选择“大数据 > MapReduce服务”,单击“购买集群”,选择“自定义购买”,填写软件配置参数,单击“下一步”。 表1 软件配置 参数项 取值 区域 华北-北京四 集群名称 mrs_01 版本类型 普通版 集群版本 MRS 1.9.2(主推) 说明:
使用GDS导出数据到远端服务器 关于GDS并行导出 规划导出数据 安装配置和启动GDS 创建GDS外表 执行导出数据 停止GDS GDS导出示例 父主题: 导出数据
从GaussDB(DWS)集群导入数据到新集群 功能描述 通过在集群中创建Foreign Table的方式,实现在多个集群之间的关联查询和用来导入数据。 使用场景 将数据从一个GaussDB(DWS)集群导入到另外一个GaussDB(DWS)集群中。 多个集群之间的关联查询。 注意事项
支持从数据库导出数据到文件,也支持将数据导入到数据库。 Kettle可通过建立触发器、时间戳字段、Kafka等方式实现数据实时同步。 本实践预计时长90分钟,演示迁移Redshift的基本流程如下: 迁移前准备:准备迁移工具Kettle和相关套件包。 步骤一:部署Kettle工具:配置Kettle工具。
根据所选模式,准备需要导出的数据并规划导出路径。 详细内容请参见规划导出数据 - 启动GDS。 若规划的导出模式为Remote模式,需在数据服务器上安装配置并启动GDS。 详细内容请参见安装配置和启动GDS。 - 创建外表。 创建外表用于帮助GDS指定导出的数据文件。外表中保存了导出数据文件的位置、文件格式、编码格式、数据间的分隔符等信息。
类型的数据源迁移数据到GaussDB(DWS)。 CDM在迁移数据到GaussDB(DWS)时,采用的是COPY方式和GDS并行导入方式。 使用CDM迁移数据到GaussDB(DWS)的典型场景,请参见云数据迁移服务(简称CDM)的如下章节: 入门:该入门场景为使用CDM迁移本地
同步IAM用户到数据库 功能介绍 该接口用于同步IAM用户到数据库。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/clusters/{cluster_id}/db-manager/sync-iam-user 表1 路径参数 参数 是否必选
单表/多表选择。下拉框选择数据库名称,数据库配置选择“自定义”时,可以设置以下配置参数,如果选择“默认配置”,以下参数将使用它们的默认值,配置完成后勾选恢复表列表(可多选)。 恢复到新集群会新建数据库,如果新建的数据库与快照的数据库在配置上存在差异,可能会导致恢复失败。请在恢复之前确认原数据库的配置,如果跟默认配置不一致,可自定义修改。
查询表product_info_orc: 1 SELECT * FROM product_info_orc; 如果查询到如数据文件所示的数据,表示已经成功将数据插入到ORC表。 父主题: 从MRS导入数据到集群
GaussDB(DWS)外表功能开发规范 规则4.1 GDS服务需单独使用服务器部署在DWS集群外 违反规范的影响: GDS如果部署在DWS集群内,会与DWS集群CN/DN节点发生资源争抢,导致双方性能同时劣化。 方案建议: GDS服务单独使用服务器部署在DWS集群外。 GDS所在服务器的磁盘能力、GDS服
GaussDB(DWS)外表功能开发规范 规则4.1 GDS服务需单独使用服务器部署在DWS集群外 违反规范的影响: GDS如果部署在DWS集群内,会与DWS集群CN/DN节点发生资源争抢,导致双方性能同时劣化。 方案建议: GDS服务单独使用服务器部署在DWS集群外。 GDS所在服务器的磁盘能力、GDS服
值为:8098。本教程配置为:192.168.0.90:5000。 -H address_string:允许哪些主机连接和使用GDS服务。参数需为CIDR格式。此参数配置的目的是允许GaussDB(DWS)集群可以访问GDS服务进行数据导入。所以请保证所配置的网段包含GaussDB(DWS)集群各主机。
oup的字符串为"High";代表资源池指定到DefaultClass控制组下的"High" Timeshare控制组。 取值范围:已创建的控制组。 stmt 资源池语句执行的最大并发数量。 取值范围:数值型,-1~INT_MAX。 dop 资源池简单语句执行的最大并发数量。 取值范围:数值型,1~INT_MAX。
io_limits=io_limits | io_priority='io_priority'}[, ... ]); 参数说明 pool_name 资源池名称。 资源池名称为已创建的资源池。 取值范围:字符串,要符合标识符的命名规范。 group_name 控制组名称。 设置控制组名称时,语法可以使用双引号,也可以使用单引号。
服务工具,通过和外表机制的配合,实现数据的高速导出。 当不在使用GDS时,可通过以下步骤停止GDS。 操作步骤 以gds_user用户登录安装GDS的数据服务器。 请根据启动GDS的方式,选择停止GDS的方式。 若用户使用“gds”命令启动GDS,请使用以下方式停止GDS。 执行如下命令,查询GDS进程号。
集群扩容 用户需要更多的计算资源或存储资源以满足业务需要时,可以在管理控制台对已有集群,通过新增节点进行扩容操作。 如果当前集群是包年/包月计费模式,那么新增节点也是按照包年包月模式进行计费。 存算一体集群扩容时使用与当前集群相同的存储规格。 存算一体(单机部署)不支持扩容集群。 如果
注意事项 在初次进入到“逻辑集群管理”页面时,若有从后台创建的逻辑集群,则会进行前后台的逻辑集群元数据同步。同步之后可以在前台页面看到之前在后台创建的逻辑集群信息,但不支持同名大小写不同的逻辑集群同步,如lc1和LC1。 在从物理集群转换为逻辑集群的过程中,原有的资源池配置将会被清除。转
对于特殊的数据类型如RAW类型,在导出之后是一个二进制文本,导入工具无法识别。需使用RAWTOHEX()函数将其转换为16进制文本导出。 父主题: 导出ORC数据到MRS
name 资源池名称。 cgroup name 资源池关联控制组名称。 ref_count int 资源池引用作业数,作业经过资源池不管是否管控都会计数,只在CN上有效。 fast_run int 资源池快车道运行作业数,只在CN上有效。 fast_wait int 资源池快车道排队作业数,只在CN上有效。
name 资源池名称。 cgroup name 资源池关联控制组名称。 ref_count int 资源池引用作业数,作业经过资源池不管是否管控都会计数,只在CN上有效。 fast_run int 资源池快车道运行作业数,只在CN上有效。 fast_wait int 资源池快车道排队作业数,只在CN上有效。