检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
工作空间用户管理 获取工作空间用户角色 编辑工作空间用户或用户组 获取工作空间用户信息 添加工作空间用户 删除工作空间用户 父主题: 管理中心API
t(yyyyMMddHH))} 返回当前整小时的时间戳。 1508115600000 添加完字段后,新增的字段在界面不显示样值,不会影响字段值的传输,CDM会将字段值直接写入目的端。 这里“添加字段”中“自定义字段”的功能,要求源端连接器为JDBC连接器、HBase连接器、Mon
t(yyyyMMddHH))} 返回当前整小时的时间戳。 1508115600000 添加完字段后,新增的字段在界面不显示样值,不会影响字段值的传输,CDM会将字段值直接写入目的端。 这里“添加字段”中“自定义字段”的功能,要求源端连接器为JDBC连接器、HBase连接器、Mon
PC网段(例如172.16.0.0/19),使其可以访问数据库监听端口。 通用添加安全组规则方法:打开数据源服务界面,进入用户集群,找到网络部分,单击安全组,跳转到安全组编辑页面,单击入方向规则,添加规则。可参考如下示例放通资源组网段。 优先级 策略 类型
不建议在分库分表同步场景下的进行rename操作,可能会导致任务失败或数据不一致。 操作步骤 本小节以DMS Kafka到OBS的实时同步为示例,介绍如何配置Migration实时集成作业。配置作业前请务必阅读使用前自检概览, 确认已做好所有准备工作。 参见新建实时集成作业创建一个实时集成作业并进入作业配置界面。
Kerberos:安全模式选择Kerberos鉴权。 linkConfig.properties 否 Map 属性配置,可以添加客户端的配置属性,所添加的每个属性需配置属性名称和值 父主题: 连接参数说明
复制名称和重命名作业 移动作业/作业目录 导出导入作业 批量配置作业 删除作业 解锁作业 查看作业依赖关系图 转移作业责任人 批量解锁 前往监控 添加通知配置 父主题: 作业开发
到多条匹配记录时,只会替换找到的第一条记录)。如果不存在,则添加新记录。 替换:使用指定的过滤键作为查询条件。如果在集合中找到匹配的记录,则替换该记录(找到多条匹配记录时,只会替换找到的第一条记录)。如果没有,则不会添加新记录。 新增 导入前准备语句 执行任务前需要先执行的MongoDB查询语句。
数据迁移 数据迁移进阶实践 本最佳实践提供了数据集成CDM组件的高阶使用技巧,例如如何实现增量迁移、时间宏变量表达式写法等。 数据开发 数据开发进阶实践 本最佳实践提供了数据开发DLF组件的高阶使用技巧,例如如何使用IF条件判断、For Each节点使用等。 DataArts Studio+X
其他场景下,CDM会自动匹配源端和目的端数据表字段,需用户检查字段映射关系和时间格式是否正确,例如:源字段类型是否可以转换为目的字段类型。 您可以单击字段映射界面的选择“添加新字段”自定义新增字段,通常用于标记数据库来源,以确保导入到目的端数据的完整性。 图1 字段映射 目前支持以下类型自定义字段: 常量 常量
String 转储任务重名处理策略: OVERWRITE : 覆盖 IGNORE :忽略 configuration 是 数据结构 转储配置,参考添加转储任务的 obs_destination_descriptor参数说明和cloudtable_destination_descriptor参数说明。
其他场景下,CDM会自动匹配源端和目的端数据表字段,需用户检查字段映射关系和时间格式是否正确,例如:源字段类型是否可以转换为目的字段类型。 您可以单击字段映射界面的选择“添加新字段”自定义新增字段,通常用于标记数据库来源,以确保导入到目的端数据的完整性。 图1 字段映射 目前支持以下类型自定义字段: 常量 常量
其他场景下,CDM会自动匹配源端和目的端数据表字段,需用户检查字段映射关系和时间格式是否正确,例如:源字段类型是否可以转换为目的字段类型。 您可以单击字段映射界面的选择“添加新字段”自定义新增字段,通常用于标记数据库来源,以确保导入到目的端数据的完整性。 图1 字段映射 目前支持以下类型自定义字段: 常量 常量
定期为员工开展数据安全意识培训,纠正工作中的不良习惯,降低因意识不足带来的数据安全风险。 技术能力培养方式。一方面,构建组织内部的数据安全学习专区,营造培训环境,通过线上视频、线下授课相结合的方式,按计划、有主题的定期开展数据安全技能培训,夯实理论知识。另一方面,通过开展数据安全
审计日志 如何查看审计日志 支持云审计的关键操作
行数据过滤及在字段映射页面添加新字段的需求,选择HDFS方式即可。 HDFS文件方式读取数据时,性能较好,但不支持使用WHERE条件进行数据过滤及在字段映射页面添加新字段。 JDBC方式读取数据时,支持使用WHERE条件进行数据过滤及在字段映射页面添加新字段。 说明: 源端为Hi
的能力以应对极端情况。例如最常见的作业内存溢出,可以在实时集成作业的“任务配置”中添加自定义属性,根据实际情况调整JobManager和TaskManager的各类内存来适应同步场景。 图1 添加自定义属性 表1 作业任务参数一览表 参数名 参数类型 默认值 参数说明 jobmanager
件做数据过滤及在字段映射页面添加新字段的需求,选择HDFS方式即可。 HDFS文件方式读取数据时,性能较好,但不支持使用WHERE条件做数据过滤及在字段映射页面添加新字段。 JDBC方式读取数据时,支持使用WHERE条件做数据过滤及在字段映射页面添加新字段。 HDFS 数据库 输
8000-30000TPS 共享版规格 数据服务共享版无具体的规格指标,在表3中给出了用户创建和使用API的相关配额说明。 如果您需要修改默认限制值,请参考如何申请扩大配额。 表3 数据服务使用限制明细 限制项 默认限制 能否修改 API分组数量 每个用户最多创建50个API分组。 √ API数量
数据目录 数据目录组件有什么用? 数据目录支持采集哪些对象的资产? 什么是数据血缘关系? 数据目录如何可视化展示数据血缘?