检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
据智能搜索和运营监控。 数据服务 数据服务定位于标准化的数据服务平台,提供一站式数据服务开发、测试部署能力,实现数据服务敏捷响应,降低数据获取难度,提升数据消费体验和效率,最终实现数据资产的变现。 数据安全 数据安全为数据治理中心提供数据生命周期内统一的数据使用保护能力。通过访问
文件位置:支持从本地导入和从OBS导入两种方式。 选择文件:本地导入的文件选择本地路径;OBS导入的文件选择OBS桶路径。 建议通过导出标签功能获取导入文件,导入文件的第一行为标签名,第一列为作业名。某作业具有某一标签,记录为1,否则记录为0。如果某单元格为空,导入时系统会按0标记。 导入的文件大小最大支持10Mb。
如果您需要查看CDM相关的监控指标,请参见查看CDM监控指标。 如果您需要在监控数据满足指定条件时发送报警通知,可参见设置CDM告警规则。 前提条件 使用CDM监控功能,需获取CES相关权限。 命名空间 SYS.CDM 监控指标 CDM集群支持的监控指标如表1所示。 表1 CDM支持的监控指标 指标ID 指标名称
南》的SQL跨源连接。 DLI导入数据到CloudTable时,CloudTable的表需要提前创建好。 SQL模板 否 单击“配置”按钮获取SQL模板。 表2 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。
关权限,所需权限如表1所示。 表1 待授予权限合集 权限名称 配置目的 是否必选 授权项/系统权限(二者选其一配置即可) IAM权限 系统获取用户或用户组、创建角色时,需要该权限。 例如用户同步时,如果无此权限会导致操作失败。 MRS/DWS/DLI权限管理时必选 iam:users:listUsers
Service,简称DES)是一种海量数据传输解决方案,支持TB到PB级数据上云,通过Teleport设备或硬盘(外置USB接口、SATA接口、SAS接口类型)向华为云传输大量数据,致力于解决海量数据传输网络成本高、传输时间长等难题。更多详情请参见数据快递服务。 各个数据迁移服务区别
where b="dsfa\;"; --example 1\;example 2. 脚本内容大小不能超过16MB。 使用SQL语句获取的系统日期和通过数据库工具获取的系统日期是不一样,查询结果存到数据库是以YYYY-MM-DD格式,而页面显示查询结果是经过转换后的格式。 Flink SQ
免费版数据开发组件的脚本数和作业数的配额限制分别为20。 免费版仅用于试用场景,在业务负荷大的场景下,无法保证免费版实例上业务的正常运行。 免费版不支持通过API调用的方式使用,仅支持控制台方式使用。 免费版受成本、资源等因素限制,提供的总数量有限。当全网免费版数量超过限额时,将无法继续创建免费版实例。
将举例为您进行介绍。 表1 资源网段规划 资源名称 说明 私网网段示例 数据源网段 本地IDC的数据源所属私网网段,请用户根据实际情况自行获取。 192.168.0.0/24 中转VPC及其子网 用于连通数据源和资源组网络的中间桥梁,本方案中需要使用云专线虚拟网关所配置的虚拟私有云和对应配置的子网。
将举例为您进行介绍。 表1 资源网段规划 资源名称 说明 私网网段示例 数据源网段 本地IDC的数据源所属私网网段,请用户根据实际情况自行获取。 192.168.0.0/24 中转VPC及其子网 用于连通数据源和资源组网络的中间桥梁,本方案中需要使用虚拟专用网络VPN网关所配置的虚拟私有云和对应的子网。
章节将举例为您进行介绍。 表1 资源网段规划 资源名称 说明 私网网段示例 数据源网段 其他云上数据源所属私网网段,请用户根据实际情况自行获取。 192.168.0.0/24 中转VPC及其子网 用于连通数据源和资源组网络的中间桥梁,本方案中需要使用云专线虚拟网关所配置的虚拟私有云和对应配置的子网。
章节将举例为您进行介绍。 表1 资源网段规划 资源名称 说明 私网网段示例 数据源网段 其他云上数据源所属私网网段,请用户根据实际情况自行获取。 192.168.0.0/24 中转VPC及其子网 用于连通数据源和资源组网络的中间桥梁,本方案中需要使用虚拟专用网络VPN网关所配置的虚拟私有云和对应的子网。
Kafka数据源专用同步模式: 最早:从Kafka Topic最早偏移量开始消费数据。 最新:从Kafka Topic最新偏移量开始消费数据。 起止时间:根据时间获取Kafka Topic对应的偏移量,并从该偏移量开始消费数据。 时间 同步模式选择增量同步和起止时间时需要设置该参数,指示增量同步起始的时间位点。
章节将举例为您进行介绍。 表1 资源网段规划 资源名称 说明 私网网段示例 数据源公网IP 其他云数据源的公网IP,请用户根据实际情况自行获取。 14.x.x.x/32 弹性公网IP 资源组不具有公网网段,只能通过公网NAT转换成固定的弹性公网IP以访问公网。若未开通弹性公网IP
支持DML:包括INSERT、UPDATE、DELETE。 支持的DDL:新增列。 不支持混合分区表。混合分区表中的外部分区数据变更不产生DML日志,增量数据同步时无法获取变更信息,会存在数据不一致的风险。 表名和列名长度限制为30个字符。Oracle日志读取采用Oracle logminer,logmine
将举例为您进行介绍。 表1 资源网段规划 资源名称 说明 私网网段示例 数据源公网IP 本地IDC数据源的公网IP,请用户根据实际情况自行获取。 14.x.x.x/32 弹性公网IP 资源组不具有公网网段,只能通过公网NAT转换成固定的弹性公网IP以访问公网。若未开通弹性公网IP
见如何配置安全组规则章节。 此外,您还必须确保该云服务的实例与CDM集群所属的企业项目必须相同,如果不同,需要修改工作空间的企业项目。 已获取待连接数据源的地址、用户名和密码,且该用户拥有数据导入、导出的操作权限。 新建连接 登录CDM管理控制台。单击左侧导航上的“集群管理”,进入集群管理界面。
M,25-34,programmer,30316 Jacob,M,25-34,artist,55408 Editha,F,56+,homemaker,46911 Cassandra,F,56+,artist,55113 Sarah,F,18-24,other or not specified
支持DML:包括INSERT、UPDATE、DELETE。 支持的DDL:新增列。 不支持混合分区表。混合分区表中的外部分区数据变更不产生DML日志,增量数据同步时无法获取变更信息,会存在数据不一致的风险。 表名和列名长度限制为30个字符。Oracle日志读取采用Oracle logminer,logmine
同步模式 最早:从Kafka Topic最早偏移量开始消费数据。 最新:从Kafka Topic最新偏移量开始消费数据。 起止时间:根据时间获取Kafka Topic对应的偏移量,并从该偏移量开始消费数据。 时间 起止时间需要设置该参数,指示同步起始的时间位点。 说明: 配置的位点