检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
into:当存在主键、唯一性索引冲突时,数据无法写入并将以脏数据的形式存在。 replace into:当存在主键、唯一性索引冲突时,会先删除原有行、再插入新行,替换原有行的所有字段。 on duplicate key update,当存在主键、唯一性索引冲突时,目的表中约束冲突的行除开唯一约束列的其他数据列将被更新。
d HH:mm:ss:SSS")} Date addDays(Date date, int amount) 给date添加指定天数后,返回新Date对象,amount可以是负数。 将作业调度计划减一天的时间,转换为年月日格式。 #{DateUtil.format(DateUtil
的属性。 复合指标:由一个或多个衍生指标叠加计算而成,其中的维度、限定均继承于衍生指标。 注意,不能脱离衍生指标、维度和限定的范围,去产生新的维度和限定。 父主题: 数据架构
Hive)数据连接,参数配置如图2所示。 数据连接类型:MapReduce服务(MRS Hive)。 数据连接名称:mrs_hive_link。 标签:可选参数。您可以输入新的标签名称,也可以在下拉列表中选择已有的标签。 适用组件:保持默认即可。 连接方式:选择“通过代理连接”。 手动:选择“集群名”模式,“IP”和“端口”不需要手动填写。
多个分区通过英文半角逗号”,”分割。 附加字段编辑:单击操作列“附加字段编辑”可为迁移后的Hudi表中增加自定义字段,附加字段会成为一个新的字段加入到Hudi表的建表中。 表1 附加字段值支持情况 类型 示例 常量 - 内置变量 源端host ip地址:source.host 源端schema名称:mgr
多个分区通过英文半角逗号”,”分割。 附加字段编辑:单击操作列“附加字段编辑”可为迁移后的Hudi表中增加自定义字段,附加字段会成为一个新的字段加入到Hudi表的建表中。 表1 附加字段值支持情况 类型 示例 常量 - 字段变量 - 对于新建的表,用户可以在已有的源表字段基础上
ATOMIC_METRIC: 原子指标(新) BIZ_CATALOG: 流程架构目录 BIZ_METRIC: 业务指标 CODE_TABLE: 码表 COMMON_CONDITION: 通用限定 COMPOSITE_METRIC: 复合指标(新) COMPOUND_METRIC: 复合指标
层资源的架构。 CDM暂不支持控制迁移数据的速度,请避免在业务高峰期执行迁移数据的任务。 在迁移数据时CDM会对数据源端产生压力。建议创建新的数据库账号用于数据迁移,并配置账号策略用于以限制迁移对数据源端的资源消耗。例如可配置当CPU使用率超30%就清理该账号下的连接,从而避免影响业务。
如果要创建MRS安全集群的数据连接,不能使用admin用户。因为admin用户是默认的管理页面用户,这个用户无法作为安全集群的认证用户来使用。您可以创建一个新的MRS用户,然后在创建MRS数据连接时,“用户名”和“密码”填写为新建的MRS用户及其密码。 说明: 如果CDM集群为2.9.0版本及之后版本,且MRS集群为3
ATOMIC_METRIC: 原子指标(新) BIZ_CATALOG: 流程架构目录 BIZ_METRIC: 业务指标 CODE_TABLE: 码表 COMMON_CONDITION: 通用限定 COMPOSITE_METRIC: 复合指标(新) COMPOUND_METRIC: 复合指标
联不同的权限,可通过权限同步进行权限管控(实际使用时,更推荐通过权限集关联角色进行权限管控)。 配置通用角色 配置通用角色即在数据源上创建新角色,用于承载用户和权限之间的关联关系,可以更加直观地管理权限关系、进行权限管控。 配置纳管角色 配置纳管角色即为纳管MRS数据源上已有的角色,并继承已有角色的MRS数据源权限。
通过购买一个按需计费方式的数据集成资源组增量包,系统会按照您所选规格自动创建一个数据集成实时作业所需的资源组。 通过购买一个套餐包方式的数据集成资源组增量包,系统不自动创建新的资源组,而是在生效期内的每个计费月内按月提供745小时/月的使用时长,在绑定区域为在DataArts Studio控制台购买的对应资源组使用。
Studio实例中已经包含一个CDM集群(试用版除外),如果该集群已经满足需求,您无需再购买数据集成增量包,可以跳过这部分内容。如果您需要再创建新的CDM集群,请参考购买批量数据迁移增量包,完成购买数据集成增量包的操作。 CDM集群与待同步数据源可以正常通信。 当CDM集群与其他云服务
Hive)数据连接,参数配置如图3所示。 数据连接类型:MapReduce服务(MRS Hive)。 数据连接名称:mrs_hive_link。 标签:可选参数。您可以输入新的标签名称,也可以在下拉列表中选择已有的标签。 适用组件:保持默认即可。 连接方式:选择“通过代理连接”。 手动:选择“集群名”模式,“IP”和“端口”不需要手动填写。
在后续的作业调度运行中,点表和边表结构发生变化,元数据xml文件并不会随之更新,需要手动进入新建元数据窗口,再次单击“生成元数据”重新生成新的元数据xml文件。 生成的元数据xml文件,属性(Property)中的数据复合类型(Cardinality),目前仅支持填写为“single”类型,不支持自定义。
如果要创建MRS安全集群的数据连接,不能使用admin用户。因为admin用户是默认的管理页面用户,这个用户无法作为安全集群的认证用户来使用。您可以创建一个新的MRS用户,然后在创建MRS数据连接时,“用户名”和“密码”填写为新建的MRS用户及其密码。 说明: 如果CDM集群为2.9.0版本及之后版本,且MRS集群为3
如果要创建MRS安全集群的数据连接,不能使用admin用户。因为admin用户是默认的管理页面用户,这个用户无法作为安全集群的认证用户来使用。您可以创建一个新的MRS用户,然后在创建MRS数据连接时,“用户名”和“密码”填写为新建的MRS用户及其密码。 说明: 如果CDM集群为2.9.0版本及之后版本,且MRS集群为3
参数类型 说明 eventType 是 String 选择对应的连接名称与topic,当有新的kafka消息时将会触发作业运行一次 配置为:KAFKA 事件类型,当前只支持监听DIS通道的新上报数据事件,每上报一条数据,触发作业运行一次。 配置为:DIS 选择要监听的OBS路径,
预定义标签需要预先在标签管理服务中创建好,然后才能进行选择。您可以通过单击“查看预定义标签”进入标签管理服务的“预定义标签”页面,然后单击“创建标签”来创建新的预定义标签,具体请参见《标签管理服务用户指南》中的“创建预定义标签”章节。 另外,DataArts Studio实例最多支持添加20个标签
预定义标签需要预先在标签管理服务中创建好,然后才能进行选择。您可以通过单击“查看预定义标签”进入标签管理服务的“预定义标签”页面,然后单击“创建标签”来创建新的预定义标签,具体请参见《标签管理服务用户指南》中的“创建预定义标签”章节。 另外,DataArts Studio实例最多支持添加20个标签