检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
com/app1?a=1"); $req->body = ''; 给请求添加header头,内容为具体参数数据。如果有需要,添加需要签名的其他头域。其中host为必填项,需要填入url的请求地址,示例代码如“host”作为样例。 1 2 3 $req->headers = array(
如果表中的字段数据来源于不同的关系模型,您需要创建多个映射。在每个映射中,您只需要为来源于当前映射的字段设置源字段,其他字段可以不设置。 如果表中的字段数据来源于同一个关系模型中的多个表,您可以新建一个映射。在该映射的“源表”中,您可以将多个表设置Join,然后再为表中的字段设置源字段。 本示例只需要新建一个映射。单击“新建”,新建一个映射,如图30。
调用地址:专享版支持内网地址和外网地址(外网地址需要您在创建集群时绑定弹性IP),如果需要在本地调用专享版API,需要使用外网地址,确保网络互通。共享版使用APIG地址,可直接选择该地址进行调用。 入参:本调用样例中创建了一个具备Query和Path入参位置的API,以便为您介绍入参应如何在调用时输入。
此外,您还必须确保该云服务的实例与DataArts Studio工作空间所属的企业项目必须相同,如果不同,您需要修改工作空间的企业项目。 如果使用企业模式,您还需要注意以下事项: 由于企业模式下需要区分开发环境和生产环境,因此您需要分别准备对应生产环境和开发环境的两套数据湖服务,用于隔离开发和生产环境: 对于
在使用Migration进行同步时,源端和目的端所使用的数据库账号需要满足以下权限要求,才能启动实时同步任务。不同类型的同步任务,需要的账号权限也不同,详细可参考表2进行赋权。 表2 数据库账号权限 类型名称 权限要求 源数据库连接账号 需要具备如下最小权限:SELECT、SHOW DATABASES、REPLICATION
手动:选择“集群名”模式,“IP”和“端口”不需要手动填写。 MRS集群名:选择已有的MRS集群。 KMS密钥:选择一个KMS密钥,使用KMS密钥对敏感数据进行加密。如果未创建KMS密钥,请单击“访问KMS”进入KMS控制台创建一个密钥。 绑定Agent:需选择一个数据集成集群作为连接代理,该集
您可以根据实际需要选择如下操作。 当需要... 则... 新建 执行新建衍生指标并发布。 编辑 执行3。 发布 执行4。 查看发布历史 执行5 下线 执行6。 删除 执行7。 编辑 在需要编辑的衍生指标右侧,单击“编辑”,进入编辑衍生指标页面。 根据实际需要编辑相关内容。 在
连线图标并拖动,连接到下一个节点上。 每个作业建议最多包含200个节点。 图1 编排作业 配置节点功能。右键单击画布中的节点图标,根据实际需要选择如表1所示的功能。 表1 右键节点功能 功能 说明 配置 进入该节点的“节点属性”页面。 删除 支持删除一个节点或同时删除多个节点。
网络连通性检测异常可先参考数据源和资源组网络不通如何排查?章节进行排查。 配置源端参数。 各同步场景下选择需要同步库表的方式请参考下表。 表5 选择需要同步的库表 同步场景 配置方式 整库 选择需要迁移的PostgreSQL库表。 图4 选择库表 库与表均支持自定义选择,即可选择一库一表,也可选择多库多表。
绑定Agent 是 DataArts Studio无法直接与非全托管服务进行连接,需要提供DataArts Studio与非全托管服务通信的代理。CDM集群可以提供通信代理服务,请选择一个CDM集群,如果没有可用的CDM集群,请参考创建CDM集群进行创建。 数据集成配置 安全模式认证
作流时需要满足如下要求: 有且只有一个入口API算子,并位于最上游,向下只能有一个分支。 至少有一个普通API算子,并位于中间层,上下游均有其他算子,向下只能有一个分支。 条件分支算子可选,位于中间层,必须至少有2个分支,最多支持20个分支,多个分支满足条件时仅执行第一个满足条件的分支。
在使用Migration进行同步时,源端和目的端所使用的数据库账号需要满足以下权限要求,才能启动实时同步任务。不同类型的同步任务,需要的账号权限也不同,详细可参考下表进行赋权。 表2 数据库账号权限 类型名称 权限要求 源数据库连接账号 Oracle 库需要开启归档日志,同时需表查询权限和日志解析权限
发布脚本任务 在企业模式中,开发者提交脚本版本后,系统会对应产生一个脚本类型的发布任务。开发者确认发包后,待拥有管理员、部署者、DAYU Administrator、Tenant Administrator权限的用户审批通过,然后将修改后的脚本同步到生产环境。 管理员导入脚本时,选择导入提交态,会生成对应的待发布项。
HBase/CloudTable增量迁移 使用CDM导出HBase(包括MRS HBase、FusionInsight HBase、Apache HBase)或者表格存储服务(CloudTable)的数据时,支持导出指定时间段内的数据,配合CDM的定时任务,可以实现HBase/CloudTable的增量迁移。
Lowercase表示将所有字符转换为小写字母的函数。 Trimall表示删除值前后的多余空格的函数。 最后一个请求消息头也会携带一个换行符。叠加规范中CanonicalHeaders自身携带的换行符,因此会出现一个空行。 举例: GET /app1/ a=1&b=2 host:c967a237-cd
如果表中的字段数据来源于不同的关系模型,您需要创建多个映射。在每个映射中,您只需要为来源于当前映射的字段设置源字段,其他字段可以不设置。 如果表中的字段数据来源于同一个关系模型中的多个表,您可以新建一个映射。在该映射的“源表”中,您可以将多个表设置Join,然后再为表中的字段设置源字段。 本示例只需要新建一个映射。单击“新建”,新建一个映射,如图30。
重要工具。该章节以“坪效”为例对数据指标的功能进行详细地讲解。 坪效是目前通用的衡量商场经营效益的指标,其概念指的是每坪的经营面积可以产出多少营业额。 图1 业务场景示例 在本示例中,我们最终输出的是客户需求的报表中过去一年全国所有有效经营面积的平均坪效值。我们的数据源提供了一张
Studio实例中的资源和数据,您需要注意以下几点: 购买DataArts Studio实例的区域需和免费试用的DataArts Studio实例的区域一致。 需购买同版本或更高版本的DataArts Studio实例。 试用实例的资源默认继承保留至第一个购买成功的实例中。 父主题: 咨询与计费
隔开。 MRS资源队列 选择已创建好的MRS资源队列。 需要先在数据安全服务队列权限功能中,配置对应的队列后,才能在此处选择到已配置的队列。当有多处同时配置了资源队列时,此处配置的资源队列为最高优先级。 重跑策略 从上一个检查点重跑 重新启动 输入数据路径 设置输入数据路径,系统
据库的表迁移到文件系统的场景。 选择“是”时,如果源端数据表中的某一个字段内容包含字段分隔符或换行符,写入目的端时CDM会使用双引号(")作为包围符将该字段内容括起来,作为一个整体存储,避免其中的字段分隔符误将一个字段分隔成两个,或者换行符误将字段换行。例如:数据库中某字段为hello