检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
什么是数据血缘关系? 大数据时代,数据爆发性增长,海量的、各种类型的数据在快速产生。这些庞大复杂的数据信息,通过联姻融合、转换变换、流转流通,又生成新的数据,汇聚成数据的海洋。 数据的产生、加工融合、流转流通,到最终消亡,数据之间自然会形成一种关系。我们借鉴人类社会中类似的一种关
如果CDM需要访问本地数据源、Internet的数据源,或者跨VPC的云服务,则必须要为CDM集群绑定一个弹性IP,或者使用NAT网关让CDM集群与其他弹性云服务器共享弹性IP访问Internet,具体操作请见添加SNAT规则。 如果用户对本地数据源的访问通道做了SSL加密,则CDM无法通过弹性IP连接数据源。
当每日作业节点调度的已使用次数+运行中次数+本日将运行次数之和达到配额时,将会提示每日执行节点个数超过上限。 解决方案 每日执行节点个数超过上限,一般是由于作业调度过于频繁导致的。为您推荐两种处理方式: 一. 购买作业节点调度次数/天增量包用于增加配额,详情请参见购买作业节点调度次数/天增量包。
数据服务操作列表 云审计服务(Cloud Trace Service,简称CTS)为用户提供了云账户下资源的操作记录,可以帮您记录相关的操作事件,便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 创建API DLMApi createApi
”开始,通过“&”连接多个参数。 Header参数是位于请求消息头中的参数,常用于传递当前信息。例如host,token等。 Path是位于请求路径中的请求参数,如果定义了Path参数,则需要在请求Path中也添加此参数,作为请求Path的一部分。 Body是位于请求体内的参数,一般使用json格式表示。
必须开启此参数,否则会连接失败。 ldap用户名 是 当“开启ldap”参数选择为“是”时,此参数是必选项。 填写为MRS Hive开启LDAP认证时配置的用户名。 ldap密码 是 当“开启ldap”参数选择为“是”时,此参数是必选项。 填写为MRS Hive开启LDAP认证时配置的密码。
Oracle数据库连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 oracle_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 192.168.0.1 端口 配置为要连接的数据库的端口。 默认端口:1521 数据库连接类型 选择Oracle数据库连接类型:
端口映射不仅可以用于迁移内网数据库的数据,还可以迁移例如SFTP服务器上的数据。 Linux机器也可以通过IPTABLE实现端口映射。 内网中的FTP通过端口映射到公网时,需要检查是否启用了PASV模式。这种情况下客户端和服务端建立连接的时候是走的随机端口,所以除了配置21端口映射外,还需要配
DM连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 dm_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的DWS、RDS等实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。
针对读操作进行优化 针对写操作进行优化 什么是数据湖? 在企业内部,数据是一类重要资产已经成为了共识。随着企业的持续发展,数据不断堆积,企业希望把生产经营中的所有相关数据都完整保存下来,进行有效管理与集中治理,挖掘和探索数据价值。 数据湖就是在这种背景下产生的。数据湖是一个集中存储各类结构化和非结
数据服务配置数据搬迁 当前管理中心支持直接搬迁数据服务组件中已发布的API数据。 您可以通过管理中心配置数据搬迁进行搬迁,也可以参考本章节通过数据服务的导入导出功能进行搬迁。 约束限制 全量导出必须具备DAYU Administrator或Tenant Administrator权限。
基础与网络连通配置 SSL加密 是 DWS支持SSL通道加密和证书认证两种方式进行客户端与服务器端的通信。您可以通过服务器端是否强制使用SSL连接进行设置。 开关打开,即只能通过SSL方式进行通信。 开关关闭,SSL通道加密和证书认证两种方式均可进行通信。 手动 是 选择连接模式。 使用集
名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 dds_link 服务器列表 服务器地址列表,输入格式为“数据库服务器域名或IP地址:端口”。多个服务器列表间以“;”分隔。 192.168.0.1:7300;192.168.0.2:7301 数据库名称
连接到文件服务器时出错。 连接到文件服务器时出错。 请联系客服或技术支持人员协助解决。 Cdm.0413 400 向文件服务器传输数据时出错。 向文件服务器传输数据时出错。 请联系客服或技术支持人员协助解决。 Cdm.0415 400 从文件服务器下载文件出错。 从文件服务器下载文件出错。
Elasticsearch服务器列表 是 一个或多个通过分号分割的服务器列表(服务器域名或IP地址:服务器端口)。 例如:192.168.0.1:9200;192.168.0.2:9200。 KMS密钥 是 和通过KMS加解密数据源认证信息,选择KMS中已创建的密钥。 KMS是一种安全、可靠
基础与网络连通配置 服务器列表 是 一个或多个通过逗号分割的服务器列表(服务器域名或IP地址:服务器端口)。 例如: 192.168.0.1:27017,192.168.0.2:27017。 KMS密钥 是 通过KMS加解密数据源认证信息,选择KMS中已创建的密钥。 KMS是一种安全、可
连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 mongodb_link 服务器列表 MongoDB服务器地址列表,输入格式为“数据库服务器域名或IP地址:端口”。多个服务器列表间以“;”分隔。 192.168.0.1:7300;192.168.0.2:7301 数据库名称
版本”,表示此脚本被哪些作业版本引用。单击删除时,会删除对应的作业和这个作业的所有版本信息。 如果某一个待删除的脚本正在被作业关联,请确保强制删除脚本后,不影响业务使用。如果希望作业能继续正常使用,请前往作业开发页面,重新关联可用的脚本。 前提条件 删除脚本前,请确保该脚本未被作业使用。
支持自动血缘解析的场景下,再手动配置血缘关系。 自动血缘解析,是由系统解析数据开发作业中的数据处理和数据迁移类型节点后自动产生的,无需进行手动配置。支持自动血缘解析的节点类型和场景请参见自动血缘解析。 手动配置血缘,是在数据开发作业节点中,自定义血缘关系的输入表和输出表。注意手动
这时请勿停止作业,您可以将失败的作业实例进行重跑,或者将异常的实例停止再重跑。失败实例成功后,后续作业会继续正常运行。如果不通过数据开发,手动将作业实例中的业务场景处理后,可以强制成功作业实例,后续作业也会继续正常运行。 父主题: 数据开发