检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
FROM支持将数据从csv文件文件导入到现有表中。 源文件中的每一行都作为一行导入。 数据集中的所有行必须包含相同数量的字段,并且在PRIMARY KEY字段中必须具有值,该过程将验证PRIMARY KEY并更新现有记录。 如果HEADER为False并且没有指定列名,则以确定的顺序导入字段。指定
上传备份文件的OBS桶。 单击“添加备份文件”,选择需要导入的备份文件。 图3 添加备份文件 如果需要导入多个备份文件,可以添加多个备份文件同时导入。一次最多可同时添加128个备份文件。 如果需要删除某个备份文件,单击目标备份文件操作列“删除”。 如果需要删除所有备份文件,在“备份文件”中单击“清空”。
并发、超低时延、超大数据量等实际特性需求。因此,对核心画像数据库有如下诉求: 海量数据快速导入,确保决策精准性 需要定期将成百GB甚至数TB全量画像数据导入画像数据库;全量数据导入越快,模型越精准,广告投放效果越好。 承载高并发访问 RTA系统要承接大量的实时竞价请求。以电商、金
使用Redis-Shake工具将RDB文件/AOF文件 导入到GeminiDB Redis RDB导入GeminiDB Redis 部署迁移工具。 获取工具Redis-Shake。 Redis-Shake工具可下载release版本,解压缩后即可使用。 修改配置文件“Redis-Shake.conf”,修改时需要注意以下配置项。
python csv读取文件时,参数csv.field_size_limit会限制单列大小。 解决方案 在cqlsh同目录下执行如下命令,查找到cqlshrc文件。 touch cqlshrc rm -rf ~/.cassandra/cqlshrc* cqlshrc文件中配置如下内容,并保存。
GeminiDB Redis备份文件是否可以下载到本地,是否支持线下恢复数据 GeminiDB Redis的备份文件并非开源Redis的RDB文件,用户无法使用,因此,不支持下载到本地。 当实例数据受损时,可将备份数据备份恢复至新实例。 数据备份和数据恢复可参考备份概述和恢复备份到新实例。
使用Spark连接Cassandra失败 问题描述 用户使用Spark连接开源Cassandra,读取数据没问题,但是连接GeminiDB Cassandra就报错。 报错信息如下: 配置详情 如下为用户使用的组件及账号配置详情。 组件配置详情。 表1 配置详情 组件名 版本号
删除扩容失败的节点 功能介绍 删除扩容失败的节点。 接口约束 该接口支持如下数据库实例。 GeminiDB Cassandra GeminiDB Mongo GeminiDB Redis 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explore
63350 3.9 301 834 OPS:Operation Per Second,数据库每秒执行的操作数。 测试模型编号:测试模型编号对应的测试模型,请参见表2 测试模型。 父主题: 性能白皮书
性能测试结果 本章介绍GeminiDB Redis性能测试结果,根据上述测试方法操作,展示在各种数据模型、测试场景、Workload模型组合下的性能指标。当前性能白皮书仅呈现中小规格并发能力下的数据库性能数据,如需更高的并发能力,可水平或垂直升级数据库规格。 总数据量小于内存场景下的测试数据请参见表1。
说明 <IDENTITY_DIR> 备份文件夹所在的目录。 <REMOTE_USER> 1中的弹性云服务器的操作系统用户。 <REMOTE_ADDRESS> 1中的弹性云服务器的主机地址。 <REMOTE_DIR> 待导入的目标弹性云服务器的文件目录。 Windows平台下,请使用传输工具上传备份目录至弹性云服务器。
81019 业务模型编号 s6 29286 64882 97377 121071 *OPS:Operation Per Second,数据库每秒执行的操作数。 *业务模型编号:业务模型编号对应的业务模型,请参见表2。 不同业务模型和实例规格下,针对弱一致性,预置1亿行数据量,测试的O
驱动下载 建议使用go mod下载驱动 require go.mongodb.org/mongo-driver v1.7.6 go文件中导入: import ( "go.mongodb.org/mongo-driver/bson" "go.mongodb.org/mongo-driver/mongo"
${thread} -s 1> workload-insert-mostly_run.log 2>&1 & 测试模型 workload模型 表2 测试模型 测试模型编号 测试模型 workload-read(单行读) 100% read workload-insert(单行写) 100%
${thread} -s 1> workload-insert-mostly_run.log 2>&1 & 测试模型 workload模型 表2 测试模型 测试模型编号 测试模型 workload-read-mostly 100% read workload-write-mostly 100%
119160 OPS:Operation Per Second,数据库每秒执行的操作数。 测试模型编号:测试模型编号对应的测试模型,请参见表2 测试模型。 表2 测试模型 测试模型编号 测试模型 读多写少场景 workload-read-mostly 95% read, 5% update
158744 查询性能测试数据 不同业务模型和实例规格下,查询性能测试数据不同,详情请参见如下表格。 不同业务模型说明请参见表1。 测试实例类型:集群,规格:4U16GB,测试并发数:20,执行100万次,计算平均值 表3 测试数据 测试模型 OPS(单位:queries/sec)
com/brianfrankcooper/YCSB/releases/download/0.12.0/ycsb-0.12.0.tar.gz 测试模型 表5 测试模型 业务模型 负载描述 _read95_update5 读95%,更新5%。 _update50_read50 更新50%,读50%。 _
数据库连接 使用GeminiDB Mongo时,可能会遇到因为mongod连接数用满了,导致客户端无法连接的问题。mongod的服务模型是每个网络连接由一个单独的线程来处理,每个线程配置了1MB的栈空间,当网络连接数太多时,过多的线程会导致上下文切换开销变大,同时内存开销也会上涨。
本文介绍了使用 Pipeline 访问 GeminiDB Redis 的原理以及注意事项。 Pipeline 简介 Redis 是一个请求/响应模型的服务,通常执行一个命令的流程为: 图1 Redis 命令执行流程 客户端发送命令到 Redis 服务器。 Redis 服务器收到命令,排队等待处理。