检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过MRS Flink Job节点执行数据开发模块中预先定义的Flink SQL脚本和Flink作业。 MRS Flink Job节点的具体使用教程,请参见开发一个MRS Flink作业。 参数 用户可参考表1和表2配置MRS Flink节点的参数。 表1 属性参数 参数 是否必选 说明
本端子网除了需要添加中转VPC的子网之外,还需要添加实时资源组的VPC网段。 购买和配置虚拟专用网络VPN的相关操作,可以参考通过企业版站点入云VPN实现数据中心和VPC互通。其中在创建VPN网关时,虚拟私有云选择步骤2所创建的中转VPC,本端子网除了需要添加中转VPC的子网之外,还需要添加实时资源组的VPC网段。
OBS连接参数说明 OBS连接目的端OBS桶需添加读写权限,并在连接时不需要认证文件。 CDM集群和OBS桶不在同一个Region时,不支持跨Region访问OBS桶。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 连接OBS时,相关连接参数如表1所示。
数据血缘方案简介 什么是数据血缘 大数据时代,数据爆发性增长,海量的、各种类型的数据在快速产生。这些庞大复杂的数据信息,通过联姻融合、转换变换、流转流通,又生成新的数据,汇聚成数据的海洋。 数据的产生、加工融合、流转流通,到最终消亡,数据之间自然会形成一种关系。我们借鉴人类社会中
配置公网NAT网关 为公网NAT网关添加SNAT规则。 为新建的NAT网关添加SNAT规则,才能实现资源组网段下的主机与Internet互相访问。请单击新建的公网NAT网关名称进入配置界面,选择“SNAT规则”页签,单击“添加SNAT规则”。 图9 添加SNAT规则1 其中,使用场景选
子网实际关联的路由表,绑定资源组时会在此路由表中添加资源组的路由信息。本参数无需配置。 为网络连接绑定资源组,实际上是通过资源组网段与中转VPC之间的对等连接连通网络,因此绑定资源组时会在此路由表中添加一条指向资源组VPC网段的路由。 为实时网络连接(对等连接)添加数据源网段路由。 单击步骤4所创
MySQL到DWS参数调优 源端优化 MySQL抽取优化 可通过在作业任务配置参数单击中“添加自定义属性”来新增MySQL同步参数。 图1 添加自定义属性 可使用的调优参数具体如下: 表1 全量阶段优化参数 参数名 类型 默认值 说明 scan.incremental.snapshot
数据源所在租户下查找对等连接 单击“添加路由”,虚拟私有云默认为数据源VPC,路由表根据实际情况自行选择(建议使用与中转VPC路由同一路由表),目的地址添加资源组VPC(例如172.16.0.0/19),下一跳默认跳至该对等连接。 图5 跨账户对等连接添加资源组网段路由 创建Migration实时网络连接(对等连接)。
Elasticsearch/云搜索服务(CSS)连接 介绍 通过Elasticsearch连接,可以对Elasticsearch服务器或云搜索服务抽取、加载数据。 连接样例 { "links": [ { "link-config-values": {
配置公网NAT网关 为公网NAT网关添加SNAT规则。 为新建的NAT网关添加SNAT规则,才能实现资源组网段下的主机与Internet互相访问。请单击新建的公网NAT网关名称进入配置界面,选择“SNAT规则”页签,单击“添加SNAT规则”。 图9 添加SNAT规则1 其中,使用场景选
查询资源组网段 172.16.0.0/19 网络配置流程 其他云数据库添加白名单及安全组规则。 其他云数据库需要添加Migration资源组VPC网段(例如172.16.0.0/19)访问数据库的权限。各类型数据库添加白名单的方法不同,具体方法请参考各数据库官方文档进行操作。 数据库
查询资源组网段 172.16.0.0/19 网络配置流程 其他云数据库添加白名单及安全组规则。 其他云数据库需要添加Migration资源组VPC网段(例如172.16.0.0/19)访问数据库的权限。各类型数据库添加白名单的方法不同,具体方法请参考各数据库官方文档进行操作。 数据库
问?进行安全组规则端口配置。 (可选)本地IDC添加路由。 本地IDC需要添加路由,目的地址指向Migration资源组VPC网段(例如172.16.0.0/19),导向华为侧网关,添加路由可参考配置本地路由。 云专线本端子网添加资源组网段。 为了允许云专线访问资源组网段,需登录
公网域名的前提是在集群创建时已开启“公网入口”绑定了弹性公网IP,否则将会绑定失败。另外,每个租户支持添加50个公网域名。 公网域名支持添加主域名及主域名的子域名,即最多支持添加二级域名,例如abc.example.com。 父主题: 开发数据服务API
查询资源组网段 172.16.0.0/19 网络配置流程 本地IDC自建数据库添加白名单。 本地IDC自建数据库需要添加Migration资源组VPC网段(例如172.16.0.0/19)访问数据库的权限。各类型数据库添加白名单的方法不同,具体方法请参考各数据库官方文档进行操作。 各数据源
t的数据源,或者跨VPC的云服务,则必须要为CDM集群绑定一个弹性IP,或者使用NAT网关让CDM集群与其他弹性云服务器共享弹性IP访问Internet,具体操作请见添加SNAT规则。 如果用户对本地数据源的访问通道做了SSL加密,则CDM无法通过弹性IP连接数据源。 前提条件 已创建CDM集群。
或越权操作,完善服务安全管理。 弹性云服务器服务 DataArts Studio使用弹性云服务器(Elastic Cloud Server,简称ECS)进行CDM集群和数据服务集群的创建,另外DataArts Studio可以通过主机连接在ECS上执行Shell或Python脚本。
在数据架构控制台,单击左侧导航树中的“配置中心”,然后再选择“编码规则”页签。 管理编码规则。 添加编码规则 如果需要自定义编码规则,在“编码规则”列表上方,单击“添加”,在弹出对话框中,配置如下参数,然后单击“确定”。 图8 添加编码规则 表2 添加编码规则说明 参数名称 说明 类型 选择编码规则的类型,当前支持如下六种:
obtain the database”怎么办? 可能原因 数据开发用户不具备DWS Database Access权限。 解决方案 为数据开发用户添加DWS Database Access权限后,再次尝试选择数据库。 父主题: 数据安全
调试API 操作场景 API创建后需要验证服务是否正常,管理控制台提供调试功能,您可以添加HTTP头部参数与body体参数,调试API接口。 后端路径中含有环境变量的API,不支持调试。 API绑定签名密钥时,不支持调试。 如果API已绑定流控策略,在调试API时,流控策略无效。