检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对于千万或亿级的超大表如何高效写入数据或创建索引 大表高效写入数据的方法 对于千万或亿级大数据量的表,建议使用如下方法提升数据写入效率。 删除不必要的索引。 更新数据时候,同时会更新索引数据。对于大数据量的表,避免创建大量的索引,影响更新速度。请根据业务评估,删除不必要的索引。
HBase/CloudTable增量迁移 使用CDM导出HBase(包括MRS HBase、FusionInsight HBase、Apache HBase)或者表格存储服务(CloudTable)的数据时,支持导出指定时间段内的数据,配合CDM的定时任务,可以实现HBase/CloudTable
父主题: 数据模型接口
配置Hive插入数据到不存在的目录中 操作场景 此功能适用于Hive组件。
选择“关联OBS存储”:OBS存储用于存储分析前后产生的数据,包括原始基因数据、流程执行中间数据及执行结果数据。 如果您已有可用桶,在创建环境中,选择对应的桶即可。关联OBS存储,对应的是并行文件系统,并行文件系统详细说明请参见并行文件系统。
概述 欢迎使用云数据迁移(Cloud Data Migration,以下简称CDM),该服务提供同构/异构数据源之间批量数据迁移服务,帮助您实现数据自由流动。支持自建和云上的文件系统,关系数据库,数据仓库,NoSQL,大数据云服务,对象存储等数据源。
进入编辑模式,检查应用、应用SID、数据库应用、数据库应用SID配置是否符合规划,如有错误,修正并更新配置即可。 应用内的云服务器未安装Agent。 安装Agent,等待几分钟。 Agent数据还在上报周期内。
配置MySQL源端参数 作业中源连接为云数据库MySQL/MySQL数据库连接时,源端作业参数如表1所示。 表1 MySQL作为源端时的作业参数 参数名 说明 取值样例 使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。
图片水印注入 数据安全中心控制台针对jpg、jpeg等多种格式文件提供了注入水印的功能,您可以参考本章节对云上文件(文件存储在OBS桶)或者本地图片增加自定义水印内容。 前提条件 已完成OBS资产委托授权,参考云资产委托授权/停止授权进行操作。
Copy阶段的调优 数据是否压缩: 对Map的中间结果进行压缩,当数据量大时,会显著减少网络传输的数据量,但是也因为多了压缩和解压,带来了更多的CPU消耗。因此需要做好权衡。当任务属于网络瓶颈类型时,压缩Map中间结果效果明显。
用户如何评估本地数据中心是否适合安装CloudPond? 请参考部署要求,初步评估您的本地数据中心是否适合安装CloudPond。 如发现不满足的情况,您可以先进行线上注册边缘小站和提交订单,随后由华为云技术支持团队与您联系沟通场地工勘事宜,您再进行相应整改即可。
随着业务数据的增加,原来申请的数据库磁盘容量可能会不足,建议用户扩容磁盘空间,确保磁盘空间足够。 通过监控数据库CPU、内存、磁盘、连接数等指标,并且设置告警策略,出现告警时可以提前识别风险。 父主题: 数据库迁移
父主题: 数据库参数修改
查看RDS存储空间使用量 场景描述 云数据库RDS实例的存储空间为客户购买的数据盘存储,不包括客户后台弹性云服务器的系统盘。 云监控服务(Cloud Eye)目前可以对客户存储空间的大小、使用量、利用率等做出监控及设置告警策略。 主备实例的存储空间大小是指主实例存储空间。
这里以CDM迁移MySQL数据库的表city1的数据到DWS的表city2为例,介绍如何使用Java调用CDM服务的REST API创建、启动、查询、删除该CDM作业。 需要提前准备以下数据: 云账号的用户名、账号名和项目ID。 创建一个CDM集群,并获取集群ID。
在页面左上角单击,选择“数据库 > 云数据库 GaussDB(for MySQL)”。 在“实例管理”页面,选择目标实例,单击实例名称,进入实例概览页面。 查看数据库实例的版本号。 图1 查看内核版本 方法二:通过DAS查看数据库实例的版本号 在DAS页面,登录目标实例。
创建增强型跨源时的路由表是数据源子网关联的路由表。 添加路由信息页的路由是弹性资源池子网关联的路由表中的路由。 数据源子网与弹性资源池所在子网为不同的子网,否则会造成网段冲突。 操作步骤 登录DLI管理控制台。 在左侧导航栏中,选择“跨源管理 > 增强型跨源 ”。
存储组中包含存储,无法删除 IoTA.02010108 指定的存储组不存在 IoTA.02010201 此存储或存储组正在操作中,请稍后重试 IoTA.02010202 存储名称重复 IoTA.02010203 存储实例被数据管道使用中,无法删除 IoTA.02010204 指定的存储不存在
内存使用率高问题排查 使用文档数据库时,当实例的内存使用率达到90%,SWAP利用率超过5%时,此时认为实例的内存已达瓶颈,会导致系统响应慢,甚至出现内存溢出(OOM)的隐患。 本章节主要介绍排查解决实例内存使用率高的问题。
topsql_retention_time 取值范围:整型,0~3650,单位为天 默认值:30 DMS期望值:14(仅供参考) 作用:视图pgxc_wlm_session_info数据老化时间。 该时间设置为0时表示不会老化,这会导致存储膨胀。