检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过CDM节点批量创建分表迁移作业 适用场景 业务系统中,数据源往往会采用分表的形式,以减少单表大小,支持复杂的业务应用场景。 在这种情况下,通过CDM进行数据集成时,需要针对每张表创建一个数据迁移作业。您可以参考本教程,通过数据开发模块的For Each节点和CDM节点,配合作业参数,实现批量创建分表迁移作业。
开发并调度Import GES作业 本章节介绍通过数据开发调用数据集成作业,将MySQL原始数据定期同步到OBS和MRS Hive中,并标准化为GES点/边数据集。然后基于标准化点/边数据集,自动生成图的元数据,实现最终将图数据(点数据集、边数据集和元数据)定期导入到GES服务中。
修改数据标准 功能介绍 修改数据标准。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/design/standards/{id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
同Region同租户直接连通网络 在配置实时同步任务前,您需要确保源端和目的端的数据库与运行实时同步任务的实时计算资源组之间网络连通,您可以根据数据库所在网络环境,选择合适的网络解决方案来实现网络连通。 本章节主要为您介绍数据库部署在华为云,且与Migration资源组同Region同租户场景下的网络打通方案。
为什么关系建模或维度建模修改字段后,数据库中表无变化? 可能原因 关系建模或维度建模修改字段后,数据库中表无变化。 解决方案 关系建模或维度建模修改字段更新表后,但实际上数据库中物理表并无变化,这是因为未对数据表更新方式做配置,此选项默认为“不更新”。 配置数据表更新方式操作如下:
resource_type String 资源类型,hws.resource.type.dayu。 resource_spec_code String 产品规格编码(即实例类型编码),例如dayu.starter,dayu.basic,dayu.advanced等。可通过查询其他实例信息进行获取。
调试API 操作场景 API创建后需要验证服务是否正常,管理控制台提供调试功能,您可以添加HTTP头部参数与body体参数,调试API接口。 后端路径中含有环境变量的API,不支持调试。 API绑定签名密钥时,不支持调试。 如果API已绑定流控策略,在调试API时,流控策略无效。
责任共担 华为云秉承“将公司对网络和业务安全性保障的责任置于公司的商业利益之上”。针对层出不穷的云安全挑战和无孔不入的云安全威胁与攻击,华为云在遵从法律法规业界标准的基础上,以安全生态圈为护城河,依托华为独有的软硬件优势,构建面向不同区域和行业的完善云服务安全保障体系。 安全性是华为云与您的共同责任,如图1所示。
FTP/SFTP到搜索的迁移仅支持如CSV等文本文件,不支持二进制文件。 FTP/SFTP到OBS的迁移仅支持二进制文件。 HTTP到OBS的迁移推荐使用obsutil工具,请参见obsutil简介。 SFTP HTTP Hadoop:MRS HDFS 关系型数据库 云数据库 MySQL 数据仓库:数据仓库服
MRS Hudi连接参数说明 连接MRS Hudi时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 Hudi连接参数 参数名 说明 取值样例 名称 连接名称。 Hudilink Manager
For Each节点使用介绍 适用场景 当您进行作业开发时,如果某些任务的参数有差异、但处理逻辑全部一致,在这种情况下您可以通过For Each节点避免重复开发作业。 For Each节点可指定一个子作业循环执行,并通过数据集对子作业中的参数进行循环替换。关键参数如下: 子作业:选择需要循环执行的作业。
数据库部署在其他云 在配置实时同步任务前,您需要确保源端和目的端的数据库与运行实时同步任务的实时计算资源组之间网络连通,您可以根据数据库所在网络环境,选择合适的网络解决方案来实现网络连通。 本章节主要为您介绍数据库部署在其他云厂商场景下的网络打通方案。 图1 网络示意图 约束限制
申请与审批权限 进行访问权限管理时,除了可以自上而下地通过权限集/角色方式为用户授权外,也支持自下而上的用户权限申请、审批流程。 本章主要描述申请者如何申请权限,以及审批者如何审批权限和回收权限。 前提条件 权限申请前,已完成空间权限集的配置,请参考配置空间权限集。 权限申请前,
For Each节点使用介绍 适用场景 当您进行作业开发时,如果某些任务的参数有差异、但处理逻辑全部一致,在这种情况下您可以通过For Each节点避免重复开发作业。 For Each节点可指定一个子作业循环执行,并通过数据集对子作业中的参数进行循环替换。关键参数如下: 子作业:选择需要循环执行的作业。
新建维度 功能介绍 根据参数新建维度。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/design/dimensions 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
脚本开发流程 脚本开发功能提供如下能力: 提供在线脚本编辑器,支持进行SQL、Shell、Python等脚本在线代码开发和调测。 支持导入和导出脚本。 支持使用变量和函数。 提供编辑锁定能力,支持多人协同开发场景。 支持脚本的版本管理能力,支持生成保存版本和提交版本。 保存版本时
csv”,将后文提供的样例数据复制粘贴到CSV文件中,然后保存CSV文件。 以下是Windows下生成.csv文件的办法之一: 使用文本编辑工具(例如记事本等)新建一个txt文档,将后文提供的样例数据复制进文档中。注意复制后检查数据的行数及数据分行的正确性(注意,如果是从PDF文档
通过云专线连通网络 在配置实时同步任务前,您需要确保源端和目的端的数据库与运行实时同步任务的实时计算资源组之间网络连通,您可以根据数据库所在网络环境,选择合适的网络解决方案来实现网络连通。 本章节主要为您介绍数据库部署在本地IDC场景下,通过云专线打通网络的方案。 图1 网络示意图
通过VPN连通网络 在配置实时同步任务前,您需要确保源端和目的端的数据库与运行实时同步任务的实时计算资源组之间网络连通,您可以根据数据库所在网络环境,选择合适的网络解决方案来实现网络连通。 本章节主要为您介绍数据库部署在本地IDC场景下,通过VPN打通网络的方案。 图1 网络示意图
时,需要先使用\将该字符转义成普通字符。 表达式支持以下两个环境变量: value:当前字段值。 row:当前行,数组类型。 表达式支持的工具类用法罗列如下,未列出即表示不支持: 如果当前字段为字符串类型,将字符串全部转换为小写,例如将“aBC”转换为“abc”。 表达式:StringUtils