检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据开发模块的通知管理功能是通过消息通知服务来发送消息,消息通知服务的使用可能会产生费用,具体请咨询消息通知服务。 一个作业支持配置多个消息主题,当作业运行成功或失败,可同时向多个订阅了消息主题的终端发送通知。 编辑通知 通知新建完成后,用户可以根据需求修改通知的参数。 在数据开发主界面的左侧导航栏,选择“运维调度
从指标导入字段时,支持模糊搜索。 单击“数据标准稽查”,可以对汇总表的属性信息进行数据标准稽查,“稽查状态”为。 单击“批量关联”,可以对多个属性配置批量关联数据标准和密级。 单击“批量清空”,可以对多个属性配置批量清空数据标准和密级。 图2 属性配置 表2 属性配置参数 参数名称 说明 名称 只允许除\、<、>、%、"、'、;及换行符以外的字符。
目标数据库中的库名、表名、字段名仅支持数字、字母和下划线,且字段名必须以字母或下划线开头,建议尽量使用常规字符避免任务失败。 使用限制 通用: 实时同步过程中,不支持IP、端口、账号、密码修改。 Oracle归档日志建议保留3天以上。 禁止对Oracle源库做resetlogs操作,否则会导致数据无法同步且任务无法恢复。
如果勾选了空跑,该节点不会实际执行,将直接返回成功。 任务组 否 选择任务组。任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。 父主题: 节点参考
写入数据的HBase表名。如果是创建新HBase表,支持从源端复制字段名。单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts
参数说明 参数 是否必选 类型 说明 fromJobConfig.topicsList 是 String Kafka topic列表,可以为多个topic,以“,”作为分隔符。 fromJobConfig.kafkaConsumerStrategy 是 枚举 从Kafka拉取数据时的初始偏移量设置:
另外,如果查询条件data为带空格的字符串,则需要用双引号包围。如果不指定column,则会对所有字段以data进行匹配。 多条查询条件时,可通过连接词组合多个查询条件,格式为column1:data1 AND column2:data2。其中,中间的连接词必须用全大写,可以为“AND”、“OR”或“NOT”,且连接词前后要有空格。
映射关系。 如果是导入到数据仓库服务(DWS),则还需在目的字段中选择分布列,建议按如下顺序选取分布列: 有主键可以使用主键作为分布列。 多个数据段联合做主键的场景,建议设置所有主键作为分布列。 在没有主键的场景下,如果没有选择分布列,DWS会默认第一列作为分布列,可能会有数据倾斜风险。
新建审核人界面 选择审核人(此处的账户列表来自于工作空间成员),输入正确的手机号码和电子邮箱,单击“确认”完成审核人的添加。 根据需要,可以添加多个审核人。 父主题: 开发数据服务API
映射关系。 如果是导入到数据仓库服务(DWS),则还需在目的字段中选择分布列,建议按如下顺序选取分布列: 有主键可以使用主键作为分布列。 多个数据段联合做主键的场景,建议设置所有主键作为分布列。 在没有主键的场景下,如果没有选择分布列,DWS会默认第一列作为分布列,可能会有数据倾斜风险。
如果勾选了空跑,该节点不会实际执行,将直接返回成功。 任务组 否 选择任务组。任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。 父主题: 节点参考
映射关系。 如果是导入到数据仓库服务(DWS),则还需在目的字段中选择分布列,建议按如下顺序选取分布列: 有主键可以使用主键作为分布列。 多个数据段联合做主键的场景,建议设置所有主键作为分布列。 在没有主键的场景下,如果没有选择分布列,DWS会默认第一列作为分布列,可能会有数据倾斜风险。
以引用多个模板。创建模板的详细操作请参见配置模板。 MRS Flink作业的运行程序参数,请参见《MapReduce用户指南》中的运行Flink作业。 Flink作业执行参数 否 配置Flink作业执行参数。 Flink程序执行的关键参数,该参数由用户程序内的函数指定。多个参数间使用空格隔开。
描述pre_order_by的值填写形式为“排序参数参数名:ASC”或“排序参数参数名:DESC”,其中ASC表示升序,DESC表示降序,多个排序参数描述以“英文分号”进行分隔。 图5 排序参数设置 对于pre_order_by的值,您可以进行如下修改: 删掉某可选的排序参数,则此排序参数不再参与排序。
批量添加白名单:您可以在专享版的“开发API > API管理”页面,勾选需要添加白名单的API后,依次单击API列表上方的“批量操作 > 批量添加白名单”,为多个IAM认证方式的API批量添加白名单。 批量添加白名单时,仅支持IAM认证方式的API。 图2 批量操作 父主题: 授权API调用
可以引用多个模板。创建模板的详细操作请参见配置模板。 MRS Flink作业的运行程序参数,请参见《MapReduce用户指南》中的运行Flink作业。 Flink作业执行参数 配置Flink作业执行参数。 Flink程序执行的关键参数,该参数由用户程序内的函数指定。多个参数间使用空格隔开。
自定义项英文名称。 not_null 是 Boolean 是否必填。 optional_values 否 String 可选值。当可选值有多个时,用分号分隔。 type 是 String 自定义项类型。 枚举值: TABLE: 表自定义项 ATTRIBUTE: 属性自定义项 SUBJECT:
目标数据库中的库名、表名、字段名仅支持数字、字母和下划线,且字段名必须以字母或下划线开头,建议尽量使用常规字符避免任务失败。 使用限制 通用: 实时同步过程中,不支持IP、端口、账号、密码修改。 不允许源数据库进行恢复操作。 建议MySQL Binlog保留3天以上,不支持强制清理Binlog。 异常/暂停恢复作
如果勾选了空跑,该节点不会实际执行,将直接返回成功。 任务组 否 选择任务组。任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。 父主题: 节点参考
如果表中的字段数据来源于不同的关系模型,您需要创建多个映射。在每个映射中,您只需要为来源于当前映射的字段设置源字段,其他字段可以不设置。 如果表中的字段数据来源于同一个关系模型中的多个表,您可以新建一个映射。在该映射的“源表”中,您可以将多个表设置Join,然后再为表中的字段设置源字段。