华为云用户手册

  • 前提条件 如果您还没有目标Redis,请先创建目标Redis,具体操作请参考购买Redis实例。 如果您已有目标Redis,则不需要重复创建,为了对比迁移前后数据及预留足够的内存空间,建议在数据迁移之前清空目标实例数据,清空操作请参考清空Redis实例数据。如果没有清空实例数据,数据迁移后,目标Redis与源Redis实例重复的数据迁移后会被覆盖,源Redis没有、目标Redis有的数据会保留。 已创建弹性 云服务器ECS ,创建弹性云服务器的方法,请参见创建弹性云服务器。 E CS 请选择与DCS Cluster集群实例相同虚拟私有云、子网和安全组,并且需要绑定弹性公网IP。 自建的源Redis Cluster集群如果是在本地或者其他云厂商的服务器上自建,需要允许被公网访问。
  • 前提条件 在迁移之前,请先阅读迁移方案概览,选择正确的迁移方案,了解当前DCS支持的在线迁移能力,选择适当的目标实例。 如果是单机/主备等多DB的源端实例迁移到Proxy集群实例,Proxy集群默认不开启多DB,仅有一个DB0,请先确保源端实例DB0以外的DB是否有数据,如果有,请先参考开启多DB操作开启Proxy集群多DB设置。 如果是单机/主备等多DB的源端实例迁移到Cluster集群实例,Cluster集群不支持多DB,仅有一个DB0,请先确保源端实例DB0以外的DB是否有数据,如果有,请将数据转存到DB0,否则会出现迁移失败,将数据转存到DB0的操作请参考使用Rump在线迁移。 准备源Redis的备份文件,备份文件的格式必须为.aof、.rdb、.zip或.tar.gz。 如果您还没有目标Redis,请先创建目标Redis,具体操作请参考购买Redis实例。 如果您已有目标Redis,则不需要重复创建,为了对比迁移前后数据及预留足够的内存空间,建议在数据迁移之前清空目标实例数据,清空操作请参考清空Redis实例数据。如果没有清空实例数据,数据迁移后,目标Redis与源Redis实例重复的数据迁移后会被覆盖,源Redis没有、目标Redis有的数据会保留。
  • 创建OBS桶并上传备份文件 如果上传的源Redis备份文件小于5GB,请执行以下步骤,通过OBS控制台创建OBS桶并上传备份文件。如果上传的源Redis备份文件大于5GB,请参考超过5GB如何上传上传备份文件。 通过OBS控制台,创建OBS桶。 在创建过程中,以下两个参数请按要求设置,其他详细的创建步骤,请参考创建桶章节。 选择“区域”。 OBS桶所在区域必须跟DCS目标Redis实例所在区域相同。 设置“存储类别”,当前支持“标准存储”、“低频访问存储”和“归档存储”。 请不要选择“归档存储”,否则会导致备份文件迁移失败。 在OBS管理控制台的桶列表中,单击1中创建的桶名称,进入“概览”页面。 在左侧导航栏,单击“对象”。 在“对象”页签下,单击“上传对象”,系统弹出“上传对象”对话框。 指定对象的存储类别。 请不要选择“归档存储”,否则会导致备份文件迁移失败。 上传对象。 您可以拖拽本地文件或文件夹至“上传对象”区域框内添加待上传的文件,也可以通过单击“上传对象”区域框内的“添加文件”,选择本地文件添加。 单次最多支持100个文件同时上传,总大小不超过5GB。 图1 上传对象 选择服务端加密方式,支持选择“SSE-KMS”、“SSE-OBS”或“不开启加密”,详情请参见服务端加密。 单击“上传”。
  • 生成AOF文件 登录弹性云服务器。 安装Redis-cli客户端。该操作以客户端安装在Linux系统上为例进行说明。 执行如下命令下载Redis。您也可以安装其他Redis版本。具体操作,请参见Redis官网。 wget http://download.redis.io/releases/redis-5.0.8.tar.gz 执行如下命令,解压Redis客户端源码包。 tar -xzf redis-5.0.8.tar.gz 进入Redis目录并编译Redis客户端源码。 cd redis-5.0.8 make cd src 执行如下命令开启缓存持久化,得到AOF持久化文件。 redis-cli -h {source_redis_address} -p {port} -a {password} config set appendonly yes {source_redis_address}为源Redis的连接地址,{port}为源Redis的端口,{password}为源Redis的连接密码。 开启持久化之后,如果AOF文件大小不再变化,说明AOF文件为全量缓存数据。 使用redis-cli登录Redis实例,输入命令“config get dir”可以查找生成的AOF文件保存路径,文件名如果没有特殊指定,默认为:appendonly.aof。 生成AOF文件后如需关闭同步,可使用redis-cli登录redis实例,输入命令“config set appendonly no”进行关闭。
  • 前提条件 如果您还没有目标Redis,请先创建目标Redis,具体操作请参考购买Redis实例。 如果您已有目标Redis,则不需要重复创建,为了对比迁移前后数据及预留足够的内存空间,建议在数据迁移之前清空目标实例数据,清空操作请参考清空Redis实例数据。如果没有清空实例数据,数据迁移后,目标Redis与源Redis实例重复的数据迁移后会被覆盖,源Redis没有、目标Redis有的数据会保留。 已创建弹性云服务器ECS,创建弹性云服务器的方法,请参见创建弹性云服务器。
  • 迁移步骤 分别在华为云ECS和源端转发服务器上安装Nginx,本文以ECS操作系统为Centos7.x为例进行安装,不同操作系统命令稍有不同。 执行以下命令,添加Nginx到yum源。 sudo rpm -Uvh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm 添加完之后,执行以下命令,查看是否已经添加成功。 yum search nginx 添加成功之后,执行以下命令,安装Nginx。 sudo yum install -y nginx 执行以下命令安装stream模块。 yum install nginx-mod-stream --skip-broken 启动Nginx并设置为开机自动运行。 sudo systemctl start nginx.service sudo systemctl enable nginx.service 在本地浏览器中输入服务器地址(ECS公网IP地址),查看安装是否成功。 如果出现下面页面,则表示安装成功。 在源端Redis添加源端转发服务器的白名单。 在源端转发服务器配置安全组。 获取华为云ECS的公网IP地址。 配置源端转发服务器安全组入方向,添加华为云ECS的公网IP地址,并放开来自华为云ECS访问请求的端口(以6379为例)。 配置源端转发服务器的Nginx转发配置。 登录Linux源端转发服务器,执行命令打开并修改配置文件。 cd /etc/nginx vi nginx.conf 转发配置示例如下: stream { server { listen 6379; proxy_pass {source_instance_address}:{port}; } } 其中,6379为源端转发服务器本机监听端口,{source_instance_address}和{port}为源端Redis实例的连接地址和端口。 配置目的:通过访问源端转发服务器本机监听端口6379,访问源端Redis。 注意:以上配置必须配置在如下图所示的位置。 图2 配置位置要求 重启Nginx服务。 service nginx restart 验证启动是否成功。 netstat -an|grep 6379 端口在监听状态,Nginx启动成功。 图3 验证结果 配置华为云ECS的Nginx转发配置。 登录Linux华为云ECS,执行命令打开并修改配置文件。 cd /etc/nginx vi nginx.conf 配置示例如下: stream { server { listen 6666; proxy_pass {source_ecs_address}:6379; } } 其中,6666为华为云ECS本机监听端口,{source_ecs_address}为源端转发服务器公网IP地址,6379为源端转发服务器Nginx的监听端口。 配置目的:通过访问华为云ECS本机监听端口6666,访问源端转发服务器。 注意:以上配置必须配置在如下图所示的位置。 图4 配置位置要求 重启Nginx服务。 service nginx restart 验证启动是否成功。 netstat -an|grep 6666 端口在监听状态,Nginx启动成功。 图5 验证结果 在华为云ECS执行以下命令测试6666端口的网络连接。 redis-cli -h {target_ecs_address} -p 6666 -a {password} 其中,{target_ecs_address}为华为云ECS公网IP地址,6666为华为云ECS监听端口,{password}为源端Redis密码,如无密码可不填。 图6 连接示例 准备迁移工具RedisShake。 登录华为云ECS。 在华为云ECS中执行以下命令下载RedisShake,本文以下载2.0.3版本为例进行说明。您可以根据实际需要下载其他RedisShake版本。 wget https://github.com/tair-opensource/RedisShake/releases/download/release-v2.0.3-20200724/redis-shake-v2.0.3.tar.gz 执行命令解压RedisShake文件。 tar -xvf redis-shake-v2.0.3.tar.gz 配置RedisShake的配置文件。 执行命令进入解压后的目录。 cd redis-shake-v2.0.3 修改配置文件redis-shake.conf。 vim redis-shake.conf 修改源端Redis信息配置: source.type 源端redis实例类型,单机、主备、proxy集群实例都选择standalone,cluster实例选择cluster。 source.address 华为云ECS公网IP地址和映射源端转发服务器的端口(华为云ECS监听端口6666),用英文冒号隔开。 source.password_raw 源端待迁移Redis实例的密码,如未设置密码,无需填写。 修改目标端DCS信息配置: target.type 华为云Redis实例类型,单机、主备、proxy集群实例都选择standalone,cluster实例选择cluster。 target.address 华为云Redis实例的连接地址和端口,用英文冒号隔开。 target.password_raw 华为云Redis实例的密码,如未设置密码,无需填写。 按下Esc键退出编辑模式,输入:wq!按回车键保存配置并退出编辑界面。 执行命令启动RedisShake并使用rump(在线全量)模式开始数据迁移。 ./redis-shake.linux -conf redis-shake.conf -type rump 图7 迁移过程 图8 迁移结果 迁移完成后,请使用redis-cli工具连接源Redis和目标Redis,确认数据的完整性。 分别连接源Redis和目标Redis。 连接操作请参考redis-cli连接。 输入info keyspace,查看keys参数和expires参数的值。 对比源Redis和目标Redis的keys参数分别减去expires参数的差值。如果差值一致,表示数据完整,迁移正常。 删除RedisShake配置文件。
  • 约束与限制 Rump模式不支持增量数据迁移,建议您先停止源端Redis的写入再进行迁移,防止数据不一致。 该方案配置只支持同DB映射迁移,异DB映射迁移该方案配置不适用。 源端为多DB使用(有非DB0的DB使用),华为云DCS为Proxy集群时,DCS需要开启多DB模式,否则会迁移失败(单DB0的Proxy集群不支持select命令)。 源端为多DB使用(有非DB0的DB使用),华为云DCS为Cluster集群时,该方案不支持(DCS Cluster集群只支持DB0模式)。
  • 导出备份文件 执行命令进入解压后的RedisShake文件目录。 cd redis-shake-v2.0.3 编辑RedisShake工具配置文件redis-shake.conf,补充源端所有master节点的连接信息。 vim redis-shake.conf 修改内容如下: source.type = cluster #如果无密码,本项不填 source.password_raw = {source_redis_password} #源Cluster集群所有master节点的IP地址与端口,以分号分隔 source.address = {master1_ip}:{master1_port};{master2_ip}:{master2_port}…{masterN_ip}:{masterN_port} 修改后按下Esc键退出编辑模式,输入:wq!按回车键保存配置并退出编辑界面。 执行以下命令导出源Redis集群的RDB格式备份文件。 ./redis-shake -type dump -conf redis-shake.conf 执行日志中出现如下信息时导出备份文件完成: execute runner[*run.CmdDump] finished!
  • 安装RedisShake 登录弹性云服务器ECS。 在ECS中执行以下命令下载RedisShake。本文以下载2.1.2版本为例,您可以根据实际需要下载其他RedisShake版本。 wget https://github.com/tair-opensource/RedisShake/releases/download/release-v2.1.2-20220329/release-v2.1.2-20220329.tar.gz 执行命令解压RedisShake文件。 tar -xvf redis-shake-v2.1.2.tar.gz 如果源Cluster部署在数据中心内网,则需在内网服务器上安装RedisShake,并参考导出备份文件导出源Cluster备份文件,然后将备份文件上传到云服务器。
  • 导入备份文件 将导出的RDB备份文件(含多个)上传到与云服务器上。云服务器与目标端DCS Cluster集群实例的网络连通。 编辑RedisShake工具配置文件redis-shake.conf。补充目标端所有master节点的连接信息。 vim redis-shake.conf 修改内容如下: target.type = cluster #如果无密码,本项不填 target.password_raw = {target_redis_password} #目标Cluster集群所有master节点的IP地址与端口,以分号分隔 target.address = {master1_ip}:{master1_port};{master2_ip}:{master2_port}…{masterN_ip}:{masterN_port} #需要导入的rdb文件列表,用分号分隔 rdb.input = {local_dump.0};{local_dump.1};{local_dump.2};{local_dump.3} 修改后按下Esc键退出编辑模式,输入:wq!按回车键保存配置并退出编辑界面。 使用如下命令导入RDB备份文件到目标Cluster集群: ./redis-shake -type restore -conf redis-shake.conf 执行日志中出现如下信息时导入备份文件完成: Enabled http stats, set status (incr), and wait forever.
  • 获取源Redis和目标Redis节点信息 分别连接源端和目标端Redis。连接Redis的方法请参考Redis-cli客户端连接Redis。 在线迁移Cluster集群时需要将Cluster集群各个节点数据分别迁移。执行如下命令分别查询源端和目标Cluster集群的所有节点的IP地址与端口: redis-cli -h {redis_address} -p {redis_port} -a {redis_password} cluster nodes {redis_address}为Redis的连接地址,{redis_port}为Redis的端口,{redis_password}为Redis的连接密码。 在命令返回的结果中,获取所有master节点的IP端口,如下如所示:
  • 创建OBS桶并上传备份文件 如果上传的源Redis备份文件小于5GB,请执行以下步骤,通过OBS控制台创建OBS桶并上传备份文件。如果上传的源Redis备份文件大于5GB,请参考超过5GB如何上传上传备份文件。 通过OBS控制台,创建OBS桶。 在创建过程中,以下两个参数请按要求设置,其他详细的创建步骤,请参考创建桶章节。 选择“区域”。 OBS桶所在区域必须跟DCS目标Redis实例所在区域相同。 设置“存储类别”,当前支持“标准存储”、“低频访问存储”和“归档存储”。 请不要选择“归档存储”,否则会导致备份文件迁移失败。 在OBS管理控制台的桶列表中,单击1中创建的桶名称,进入“概览”页面。 在左侧导航栏,单击“对象”。 在“对象”页签下,单击“上传对象”,系统弹出“上传对象”对话框。 指定对象的存储类别。 请不要选择“归档存储”,否则会导致备份文件迁移失败。 上传对象。 您可以拖拽本地文件或文件夹至“上传对象”区域框内添加待上传的文件,也可以通过单击“上传对象”区域框内的“添加文件”,选择本地文件添加。 单次最多支持100个文件同时上传,总大小不超过5GB。 图1 上传对象 选择服务端加密方式,支持选择“SSE-KMS”、“SSE-OBS”或“不开启加密”,详情请参见服务端加密。 单击“上传”。
  • 前提条件 在迁移之前,请先阅读迁移方案概览,选择正确的迁移方案,了解当前DCS支持的在线迁移能力,选择适当的目标实例。 如果是单机/主备等多DB的源端实例迁移到Proxy集群实例,Proxy集群默认不开启多DB,仅有一个DB0,请先确保源端实例DB0以外的DB是否有数据,如果有,请先参考开启多DB操作开启Proxy集群多DB设置。 如果是单机/主备等多DB的源端实例迁移到Cluster集群实例,Cluster集群不支持多DB,仅有一个DB0,请先确保源端实例DB0以外的DB是否有数据,如果有,请将数据转存到DB0,否则会出现迁移失败,将数据转存到DB0的操作请参考使用Rump在线迁移。 准备源Redis的备份文件,备份文件的格式必须为.aof、.rdb、.zip或.tar.gz。 如果您还没有目标Redis,请先创建目标Redis,具体操作请参考购买Redis实例。 如果您已有目标Redis,则不需要重复创建,为了对比迁移前后数据及预留足够的内存空间,建议在数据迁移之前清空目标实例数据,清空操作请参考清空Redis实例数据。如果没有清空实例数据,数据迁移后,目标Redis与源Redis实例重复的数据迁移后会被覆盖,源Redis没有、目标Redis有的数据会保留。
  • 注意事项 数据迁移会把数据库各个表中的全部数据作为点或者边数据集导入到图实例,因此需要确保数据库中的表已经被处理为点或者边数据。 点边表中支持的数据类型,参考一般图数据格式章节中的属性说明。 点表格式:点ID列名,点Label列名,点属性列名1,点属性列名2,... 图1 点表格式 点表的数据如下图所示: 图2 点表数据 边表格式:源点ID列名,终点ID列名,边Label列名,边属性列名1,边属性列名2,... 图3 边表格式 边表的数据如下图所示: 图4 边表的数据
  • 委托权限优化 登录图引擎服务管理控制台,在左侧导航栏,选择“图管理”。 如果未整改,在界面的上部,会看到委托权限待整改通知。 单击“前往进行整改”,弹出优化委托权限界面,如图1所示。 注意:该界面会提醒用户在使用GES服务时,部分场景需要委托以授权GES服务访问用户资源,系统会创建ges_access_vpc_custom自定义策略,并授权给ges_agency,以及列举出待删除的具有高风险的委托权限,以提升账号安全性。 图1 优化委托权限 手动输入或者一键输入“DELETE”,执行优化操作,执行成功后该界面会自动关掉待整改通知。 如果当前用户没有查询委托权限,系统无法根据当前用户的认证凭据查询委托信息,整改通知会在每次进入界面时都会弹出,并提示用户通知管理员进行整改。用户也可以关闭该通知或者设置“不再提醒”。
  • 操作步骤 登录图引擎服务管理控制台,在左侧导航栏中选择“数据迁移”。 在“数据迁移”页签单击“新建”。 图1 新建数据迁移 设置数据源配置参数。 任务名称:自定义名称,不能与已有任务名称重复,长度在4位到50位之间,必须以字母开头,不区分大小写,可以包含字母、数字、下划线,不能包含其他的特殊字符。 数据源:根据需要选择已创建完成的数据源。 关联图名称:选择数据源后自动显示。 图2 数据源配置 设置元数据配置。 点文件源列表:选择点数据所在的表,从左侧选中表后需要单击添加到右侧。 边文件源列表:选择边数据所在的表,从左侧选中表后需要单击添加到右侧。 schema文件:首次创建迁移任务时,按步骤5操作生成schema文件,完成后选择schema文件(ECS/BMS+ MRS 模式下需要选择schema文件的存储路径)。 图3 元数据配置 生成schema文件。 单击“生成schema”按钮进行生成。 图4 schema文件 在页面右侧弹出的窗口中,填写“schema名称”,并选择“schema存储路径”,填写完成后单击“确定”提交创建元数据任务。 图5 创建元数据 在弹窗中单击“跳转”会开启一个新窗口跳转到“数据迁移”页面,您可以查看创建元数据任务状态,等待任务执行成功。 图6 创建成功弹窗 图7 查看创建元数据任务状态 在新建数据迁移页面,接着填写信息,设置导入配置。 重复边处理:选择重复边处理策略(持久化版图仅支持覆盖或忽略重复边)。 开启重复边忽略Label:重复边定义是否包含label(持久化版图不涉及)。 开启离线导入:是否离线导入(离线导入期间图不可读不可写,持久化版图不涉及)。 图8 导入配置 设置存储路径配置。 点文件存储路径:用于存放从数据源的数据库导出的点数据。 边文件存储路径:用于存放从数据源的数据库导出的边数据。 日志存放路径:用于存放导入时产生的日志文件。 图9 存储路径配置 全部填写完成后,单击创建,在“数据迁移”页签查看迁移任务进度及结果。 图10 查看迁移结果 可以单击操作列的“详情”,查看每个点边数据集的任务状态。 图11 任务详情
  • 操作步骤 登录图引擎服务管理控制台,在左侧导航栏中选择“数据迁移”。 在“数据源管理”页签单击“新建”。 图1 新建数据源管理 在新建数据源页面,输入对应的数据源信息,具体参数如下: 数据源名称:自定义名称,长度在4位到50位之间,必须以字母开头,不区分大小写,可以包含字母、数字、下划线,不能包含其他的特殊字符。 数据源类型:按实际数据源选择,目前支持Mysql、神通数据库、Oracle、DWS、Hive。 图名称:选择需要导入数据的图。 网段CIDR:数据源所在子网的网段。 访问IP地址:数据源的数据库的IP。 访问端口:数据源的数据库的端口(Hive不涉及)。 数据库名称:数据源的数据库的名称。 数据库用户名:访问数据源的数据库的用户名(Hive不涉及)。 数据库密码:访问数据源的数据库的用户密码(Hive不涉及)。 是否需要验证:Hive所在MRS集群是否开启Kerberos认证(仅Hive涉及)。 MRS集群用户名称:Hive所在MRS集群的用户名,当Kerberos认证关闭时可不填(仅Hive涉及)。 MRS集群用户认证凭证:Hive所在MRS集群的用户的认证凭证,当Kerberos认证关闭时可不传(仅Hive涉及)。 MRS集群Hive客户端文件:Hive客户端文件(仅Hive涉及)。 参数填写完成后单击“确定”。 图2 数据源信息 查看数据源状态,等待创建完成。
  • 修改安全模式 创建图之后,您若想要修改安全模式,可以在图详情中进行操作。 2.4.4及以上版本,且必须是运行状态的图支持该功能。 具体操作步骤如下: 登录图引擎服务管理控制台,在左侧导航栏中选择“图管理”。 在图管理页面,选中想要修改安全模式的图,页面下方将会显示该图的信息。 图1 图详情页签 在图信息详情中,可以修改安全模式的状态,进行打开或者关闭。 更改安全模式中,按钮置灰不可使用,您可以到任务中心查看任务进度。 图2 查看任务状态 父主题: 管理图
  • 查看快照 在图引擎编辑器左侧的区域内选择“快照”模块,界面会展示您保存的快照信息。 图2 快照界面 缩略图:快照缩略图,当鼠标放在缩略图上时,会自动放大快照图。 快照名称和ID:名称可修改。快照ID不可修改,ID由系统自动生成,用于导入快照时对各个保存的文件进行区分,相同ID的文件导入时会覆盖。 图信息:显示当前快照所保存的图数据。 主题色:记录保存快照时,画布的主题颜色。 快照的创建时间和修改时间。 操作列功能: 查看:将选择的快照展示在画布上。若您当前主题的颜色与当时保存的快照颜色不同,会有提示信息如图3所示。单击“是”系统会切换到快照保存时的主题,单击“否”系统会继续使用当前画布主题色。 图3 主题切换 删除:删除快照。确认即将要删除的快照信息后,需要在弹出的窗口中输入“DELETE”(或单击“一键输入”),输入完成后单击“确定”进行删除。 图4 删除快照 更多:包含下载和下载缩略图。 下载:将快照的JSON文件进行下载,保存到本地。 下载缩略图:以图片形式下载快照保存到本地。 删除图会将存储的快照一起删除,所以删除图前请先下载快照。
  • 创建HyG图 创建完持久化版图集群后,进入图引擎编辑器页面,详细操作请参见访问图引擎编辑器。 在左上角的“HyG图管理”页签下,单击“创建HyG图”。 图1 创建HyG图 在弹出的窗口中,选择“切分策略”(当前仅支持oec策略)和“是否包含入边”,选择完成后单击“确定”。 切分策略:图的切分策略,oec(out edge cut)代表出边切分,使用默认选项即可。 是否包含入边:图是否包含入边,设置为true会影响数据同步性能。 图2 选择参数 创建成功HyG图后,可以进行“数据导入”或者“数据同步”。 数据导入:用户可以导入新的点边数据,具体请参见数据导入。 数据同步:将用户在图数据库中已有的点边数据同步至计算引擎,具体请参见数据同步。 图3 数据导入 若您想删除Hyg图,单击“删除HyG图”,在弹出框中输入“DELETE”,完成删除操作。 图4 删除HyG图
  • 数据导入 单击“数据导入”,在右侧弹出的窗口中,填写以下参数: AccessKey:用户的访问密钥ID。 SecretKey:与访问密钥ID结合使用的密钥。 点数据集:点文件目录或点文件名,支持csv、txt格式文件导入。 边数据集:边文件目录或边文件名,支持csv、txt格式文件导入。 元数据:新增数据的元数据文件OBS路径。 日志存储路径:导入图日志存放目录,用于存储导入失败的数据和详细错误原因。 字段分隔符:csv格式文件字段分隔符,默认值为逗号(,)。 字段包围符:csv格式文件字段包围符,用来包围一个字段,如字段中含有分隔符或者换行等,默认值为双引号(")。 点属性列表:点属性列表,指定的属性需属于schema文件中的属性,如果列表为空,则不会导入点属性。 边属性列表:边属性列表,指定的属性需属于schema文件中的属性,如果列表为空,则不会导入边属性。 图5 数据导入 填写完成后,单击“确定”,导入后的数据会显示在HyG图信息详情里。 图6 HyG图信息展示
  • 任务类型对应表 表2 任务类型和任务名称对应表 任务类型 任务名称 100 点查询 101 创建点 102 删除点 103 修改点属性 104 添加点Label 105 删除点Label 200 边查询 201 创建边 202 删除边 203 修改边属性 300 查询Schema详情 301 添加Label 302 修改Label 303 查询Label 304 修改属性 400 查询图详情 401 清空图 402 在线增量导入图 403 创建图 405 删除图 406 导出图 407 filtered_khop 408 查询路径详情 409 离线增量导入图 500 创建备份 501 从备份恢复图 601 创建索引 602 查询索引 603 更新索引 604 删除索引 700 运行算法
  • 实例概况 进入图实例的运维监控页面后,您可以看到图实例概况,展示了图实例的状态,实时资源消耗,资源消耗,业务负载等信息。下面为您进行详细说明各个模块的作用: 图集群状态 在图集群状态模块,您可以浏览当前图实例基本信息和容量、请求数等统计信息。 集群信息:包括图规格、CPU架构。 集群容量:包括点和边的使用量、容量和使用率。 集群节点:包括CN节点可用数量/总数量、DN节点可用数量/总数量。 集群请求数统计:包括等待中的读请求个数、运行中的读请求个数、等待中的写请求个数、运行中的写请求个数。 图2 图集群状态 告警统计 在告警统计模块,您可以查看当前实例未消除的所有告警,以及过去7天实例产生的所有告警信息。 图3 告警统计 实例资源 在实例资源模块,您可以查看当前实例资源使用情况,包括“CPU使用率”,“磁盘I/O”,“磁盘使用率”,“内存使用率”,“网络I/O值”。单击对应资源指标可显示过去72小时该指标的变化趋势,以及该资源当前时刻的Top5节点使用情况。 图4 实例资源 业务负载 在业务负载模块,您可以查看当前数据库业务负载指标QPS在过去72小时该指标的变化趋势。 图5 业务负载
  • 监控项列表 通过图实例运维监控功能提供的相关监控项,用户可以从中获取有关图实例的状态以及可用资源数量等,并深入了解当前实例实时的资源消耗情况。 图引擎服务(GES)相关监控项指标,具体请参见表 图引擎服务(GES)监控列表。 表1 图引擎服务(GES)监控列表 监控对象 指标名称 含义 取值范围 监控周期(原始指标) 实例概览指标 集群信息 实例的规格、CPU架构 字符串 - 集群容量 实例的点、边使用量、总量和使用率 ≥ 0 实时 集群节点 实例底层资源中可用节点的类型、数量和节点的总数(可用/总数)。 ≥ 0 实时 集群请求数统计 实例中等待中、运行中的读请求、写请求个数。 ≥ 0 实时 实例业务负载指标 QPS 实例每秒处理的请求个数 ≥ 0 5min 图实例资源消耗指标 CPU平均使用率 实例主节点的平均CPU使用率。 0%~100% 5min 内存使用率 实例主节点的平均内存使用率。 0%~100% 5min 磁盘使用率 实例主节点的磁盘的平均使用率。 0%~100% 5min 磁盘I/O使用率 实例主节点的平均I/O使用率。 0%~100% 5min 网络I/O使用率 实例主节点的平均I/O使用率。 0%~100% 5min 节点监控-概览 节点名称 实例中节点的名称。 字符串 - CPU使用率 节点的CPU使用率。 0%~100% 5min 内存使用率 节点的内存使用率。 0%~100% 5min 平均磁盘使用率 节点磁盘使用率。 0%~100% 5min IP地址 节点的业务IP地址。 字符串 5min 磁盘I/O 节点的磁盘I/O,单位: KB/s。 ≥ 0KB/s 5min TCP协议栈重传率 单位时间内TCP报的重发率。 0%~100% 5min 状态 节点的运行状态。 运行中\故障 5min 节点监控-磁盘 节点名称 实例中的节点名称。 字符串 5min 磁盘名 节点上磁盘名称。 字符串 5min 磁盘容量 节点上磁盘的容量,单位: GB。 ≥ 0GB 5min 磁盘使用率 节点上磁盘的使用率。 0%~100% 5min 磁盘读速率 节点上磁盘读速率,单位: KB/s。 ≥ 0KB/S 5min 磁盘写速率 节点上磁盘写速率,单位:KB/s。 ≥ 0KB/S 5min I/O等待时间-await 平均每次I/O请求的等待时间,单位:ms。 ≥ 0ms 5min I/O服务时间-svctm 平均每次I/O请求的处理时间,单位:ms。 ≥ 0ms 5min I/O使用率-util 主机上I/O的使用率。 0%~100% 5min 节点监控-网络 节点名称 实例中的节点名称。 字符串 5min 网卡名称 节点上的网卡名称。 字符串 5min 网卡状态 网卡状态。 up/down 5min 网卡速度 网卡工作速率,单位:Mbps。 ≥ 0 5min 接收包数 网卡的接收包数。 ≥ 0 5min 发送包数 网卡的发送包数。 ≥ 0 5min 接收丢包数 网卡的接收丢包数。 ≥ 0 5min 接收速率 网卡单位时间内接收到的字节数,单位:KB/s。 ≥ 0KB/s 5min 发送速率 网卡单位时间内发送出的字节数,单位:KB/s。 ≥ 0KB/s 5min 性能监控 集群CPU使用率 实例中主节点的平均CPU使用率。 0%~100% 5min 集群内存使用率 实例中主节点的平均内存使用率。 0%~100% 5min 集群磁盘使用率 实例中主节点的平均磁盘使用率。 0%~100% 5min 集群磁盘I/O 实例中主节点磁盘的平均磁盘I/O数值。 0%~100% 5min 集群网络I/O 实例中主节点网卡的平均网络I/O数值。 0%~100% 5min tomcat连接数使用率 实例中主节点HTTP连接数使用率。 0%~100% 5min 集群swap盘使用率 实例中主节点swap交换分区盘使用率 0%~100% 5min jvm堆内存使用率 实例中主节点JVM堆内存使用率。 0%~100% 5min 读请求运行队列长度 当前实例运行中的读请求个数。 ≥ 0 5min 读请求阻塞队列长度 当前实例阻塞中的读请求个数。 ≥ 0 5min 实时查询 请求ID 当前查询的请求ID。 字符串 实时 任务名称 当前查询的任务名称。 字符串 实时 请求参数 当前查询的请求参数。 字符串 实时 进度 当前查询执行的进度 0%~100% 实时 阻塞时长 当前查询阻塞时长,单位为秒。 ≥ 0 实时 开始时间 当前查询开始时间。 字符串 实时 结束时间 当前查询结束时间。 字符串 实时 运行时长 当前查询运行时长,单位为秒。 ≥ 0 实时 历史查询 任务ID 历史查询的任务ID。 字符串 实时 任务类型 历史查询的任务类型。 字符串 实时 原始请求 历史查询的原始请求。 字符串 实时 状态 历史查询的任务状态。 字符串 实时 进度 历史查询的任务执行进度。 0%~100% 实时 开始时间 历史查询的任务开始时间。 字符串 实时 结束时间 历史查询的任务结束时间。 字符串 实时 运行结果 历史查询的任务执行结果 字符串 实时 父主题: 运维监控与告警
  • 从OBS中导入备份 将导出到OBS的备份文件导入到图中,导入成功后使用该备份还原图实例。 持久化的图暂不支持该功能。 只有2.3.16及以上版本的内存版的图支持该功能,低版本的图需要您先进行升级图操作,升级到最新版本再进行导入。 具体操作步骤如下: 登录图引擎服务管理控制台,在左侧导航栏选择“备份管理”。 在“备份管理”页面右上角,单击“导入”。 在弹出的对话框中,选择将要导入的图和存放备份图数据的OBS路径,单击“是”完成导入备份的图数据。 图1 导入备份数据 OBS导入路径请选择目录层级(文件夹),否则会导致导入备份失败。 任务下发成功后,可以在任务中心查看任务执行情况。 父主题: 备份图和恢复图
  • 导出备份到OBS 为了实现GES跨Region数据迁移,您可以选择将备份文件导出到OBS。 持久化的图暂不支持该功能。 只有2.3.16及以上版本的内存版的图支持该功能,低版本的图需要您先进行升级图操作,升级到最新版本再进行导出。 您需要先在“图管理”页面对图进行成功备份,让图出现在“备份管理”页面,具体操作请参考备份图。 在“备份管理”页面中,关联图的状态是运行中,备份状态是成功的图才可以导出到OBS,否则导出按钮是置灰状态。 登录图引擎服务管理控制台,在左侧导航栏选择“备份管理”。 在备份列表中,选择需要导出的备份数据,在“操作”列,单击“导出”。 在弹出的对话框中,检查备份信息无误后,选择OBS路径。 注意:OBS导出路径只能选择空目录,且导出后该目录下面的图数据文件不能进行删除、新增或者修改操作,否则您再从OBS导入备份到图中时会备份失败。 图1 导出到OBS 选择完成后,单击“是”进行备份。 备份文件存储到OBS会收取费用,具体可以参考OBS服务收费标准。 任务下发成功后,可以在任务中心查看任务执行情况。 父主题: 备份图和恢复图
  • 新增图和删除图 创建完持久化版图集群后,进入图引擎编辑器页面,详细操作请参见访问图引擎编辑器。 在页面左上角,单击“新增图”按钮,在弹出的新增图窗口中填写图名称、选择点ID类型和SortKey类型。 图2 新增图 ID类型:目前支持固定长度String、可变长度String和哈希三种点ID类型。 String(固定长度):实际点ID直接用于内部存储与计算,需指定一长度,实际点ID不可超过此长度。长度过大可能影响查询性能,建议根据数据集状态进行设置。选择固定长度String格式,还需填写点ID长度。 String(可变长度):用户写入的点ID无长度限制,但是ID过长会影响读写性能,建议长度控制在1K字节以内,最大不要超过4K字节。 哈希格式下,内部计算时将实际点ID转换成哈希码进行存储与计算,对实际点ID长度无限制,但是存在极低的概率(约10^(-43))出现点ID碰撞。 若用户无法确定点ID的最大长度,建议选择哈希类型。 SortKey类型:选择SortKey的值类型,通过配置不同SortKey的值来区分重复边(源点,终点,Label三者都相同的边)。 整数:整数类型。 String(字节长度小于等于40):导入大于40的SortKey将报错。 String(可变长度):长度无限制,但是过长会影响读写性能,建议长度控制在1K字节以内,最大不要超过2K字节。 填写完成后,单击“确定”完成新增图操作。 若您需要删除某个图实例,可以单击“删除图”按钮,来完成删除图操作。
  • 概述 时序路径分析算法(Temporal Paths)区别于静态图上的路径分析,结合了动态图上信息传播的有序性,路径上后一条边的经过时间要晚于或等于前一条边,呈现时间递增(或非减)性。 时序路径不满足传递性:即从节点i到节点j有一条时序路径,从节点j到节点k有一条时序路径,并不能说明从节点i到节点k有一条时序路径。因此在求解问题上,相较于静态图上的路径求解复杂度升高,计算难度变大,但时序路径分析在实际生活中用途很广,例如计算出行路线,模拟/搜索信息传播路径等。 Temporal Paths根据求解目标的差异可分为不同的类型,常见的有:Shortest, Foremost, 以及 Fastest Temporal Paths。 Shortest Temporal Paths:表示距离最短的时序路径。 Foremost Temporal Paths:表示尽可能早的到达目标节点的时序路径。 Fastest Temporal Paths :表示耗费时间最短的时序路径。
  • 参数说明 表1 Temporal Paths参数说明 参数 是否必选 说明 类型 取值范围 默认值 source 是 起点id String - - targets 是 终点id集合 String csv格式,ID之间以英文逗号分隔,例如:“Alice,Nana”,个数不大于100000。 1000 directed 否 是否考虑边的方向 Boolean true 或false,布尔型。 false k 否 最大深度 Integer 1-100,包括1和100 3 strategy 否 运行的算法策略 String 取值范围:shortest,foremost,fastest。 (注:fastest暂不支持) shortest:运行shortest temporal paths算法,返回距离最短的时序路径 foremost:运行foremost temporal paths算法,返回尽可能早的到达目标节点的时序路径 fastest:运行fastest temporal paths算法,返回耗费时间最短的时序路径 shortest 表2 动态时间范围设置(dynamicRange)说明 参数 是否必选 说明 类型 取值范围 默认值 start 是 动态分析起始时间 Date/ Integer - - end 是 动态分析终止时间 Date/ Integer - - time_props 是 动态分析的时间属性定义 Object - - 表3 动态分析的时间属性(time_props)说明 参数 是否必选 说明 类型 取值范围 默认值 stime 是 开始时间属性名称 String - - etime 是 结束时间属性名称 String - -
  • 示例 需要在图引擎编辑器的算法区内,选定该算法进行操作。具体操作详见使用算法分析图。 设置动态时间范围参数: start=1646092800,end =1646170716,stime="startTime",etime="endTime"。 设置temporal paths算法参数: source="Person00014" targets="Person00055,Person00058,Person00052,Person00061,Person00060,Place00032,Place00016,Place00026,Place00015,Place00043" directed="false" k="5" 选择算法搜索策略“shortest”或“foremost”。单击运行按钮,运行temporal paths算法,图引擎会根据选定的算法搜索策略,计算返回时序分析路径,路径随时间轴动态延伸,直至到达目标节点,JSON结果会展示在查询结果区。
共100000条