检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
”或“JSON数组”。 JSON对象 记录节点 当“文件格式”选择为“JSON格式”并且“JSON类型”为“JSON对象”时,才有该参数。对该JSON节点下的数据进行解析,如果该节点对应的数据为JSON数组,那么系统会以同一模式从该数组中提取数据。多层嵌套的JSON节点以字符“.”分割。
附加字段,并自定义字段名、选择字段类型、填写字段值。 字段名称:目的端DWS表新增字段的名称。 字段类型:目的端DWS表新增字段的类型。 (可选)字段类型长度:目的端DWS表新增字段类型的长度。 字段值:目的端DWS表新增字段的取值来源。 表9 附加字段取值方式 类型 示例 常量
附加字段,并自定义字段名、选择字段类型、填写字段值。 字段名称:目的端DWS表新增字段的名称。 字段类型:目的端DWS表新增字段的类型。 (可选)字段类型长度:目的端DWS表新增字段类型的长度。 字段值:目的端DWS表新增字段的取值来源。 表9 附加字段取值方式 类型 示例 常量
式必须为二进制。适用于文件到文件的原样复制。 JSON格式:以JSON格式解析源文件,一般都是用于迁移文件到数据表的场景。 说明: 当目的端为OBS数据源时,仅支持配置二进制格式。 CSV格式 JSON类型 当“文件格式”选择为“JSON格式”时,才有该参数。JSON文件中存储的
公司、部门等)、业务领域(如采购、生产、销售等)或者实施环境(如开发、测试、生产等),没有特定的划分要求。 工作空间从系统层面为管理者提供对使用DataArts Studio的用户(成员)权限、资源、DataArts Studio底层计算引擎配置的管理能力。为实现多角色协同开发,
支持的源端和目的端数据库版本 表1 支持的数据库版本 源端数据库 目的端数据库 Oracle数据库(10、11、12、19版本) MRS集群(3.2.0-LTS.x、3.5.x) Hudi版本(0.11.0) 数据库账号权限要求 在使用Migration进行同步时,源端和目的端所使用的数
方案设计 操作流程如下: 实时数据导入:通过数据接入服务(DIS)将数据中心的告警数据实时导入到数据湖探索(DLI)。 数据清洗和预处理:DLI对告警数据进行数据清洗和预处理。 发送告警消息:当告警级别超过指定值时向用户发送短信。 数据导出和存储:清洗过的数据进入DIS通道,DIS根据导入时间将告警数据按日期存放到OBS。
”的遍历(即第一次循环为1,第二次循环为3,第三次循环为2)。 图1 for each节点 For Each节点与EL表达式 要想使用好For Each节点,您必须对EL表达式有所了解。EL表达式用法请参考EL表达式。 下面为您展示For Each节点常用的一些EL表达式。 #{Loop.dataArray}
”的遍历(即第一次循环为1,第二次循环为3,第三次循环为2)。 图1 for each节点 For Each节点与EL表达式 要想使用好For Each节点,您必须对EL表达式有所了解。EL表达式用法请参考EL表达式。 下面为您展示For Each节点常用的一些EL表达式。 #{Loop.dataArray}
段映射这一步。 自动创表场景下,需在目的端表中提前手动新增字段,再在字段映射里新增字段。 添加完字段后,新增的字段在界面不显示样值,不会影响字段值的传输,CDM会将字段值直接写入目的端。 如果字段映射关系不正确,您可以通过拖拽字段、单击对字段批量映射两种方式来调整字段映射关系。
分库分表 目标端库名:数据将同步至指定的Hudi库中。 表匹配策略:默认与源端配置中填写的逻辑表同名。 图9 分库分表场景下源库表和目标匹配策略 Hudi参数配置。 其余Hudi目的端参数说明请参考表7。 图10 Hudi目的端配置项 表7 Hudi目的端配置项 配置项 默认值
公司、部门等)、业务领域(如采购、生产、销售等)或者实施环境(如开发、测试、生产等),没有特定的划分要求。 工作空间从系统层面为管理者提供对使用DataArts Studio的用户(成员)权限、资源、DataArts Studio底层计算引擎配置的管理能力。为实现多角色协同开发,
”或“JSON数组”。 JSON对象 记录节点 当“文件格式”选择为“JSON格式”并且“JSON类型”为“JSON对象”时,才有该参数。对该JSON节点下的数据进行解析,如果该节点对应的数据为JSON数组,那么系统会以同一模式从该数组中提取数据。多层嵌套的JSON节点以字符“.”分隔。
{ e.printStackTrace(); return; } 对请求进行签名、新增x-Authorization头、访问API并打印结果: 样例代码如下: CloseableHttpClient
运行状态。 在数据开发主界面的左侧导航栏,选择“运维调度 > 作业监控”。 单击“批作业监控”页签,进入批作业监控界面。 批作业监控提供了对批处理作业的状态进行监控的能力。您可以查看批作业的调度状态、调度频率、调度开始时间等信息,勾选作业名称前的复选框,并进行“执行调度”/“停止调度”/“通知配置”,相应操作。
说明: STANDALONE模式主要是用来解决版本冲突问题的运行模式。当同一种数据连接的源端或者目的端连接器的版本不一致时,存在jar包冲突的情况,这时需要将源端或目的端放在STANDALONE进程里,防止冲突导致迁移失败。 EMBEDDED 是否使用集群配置 您可以通过使用
在角色管理页面,单击“新建”,弹出“创建自定义角色”对话框。 角色名称:标识自定义角色的唯一标识,此处填写为“Developer_DQC”。 角色描述:补充对该角色的相关说明,此处填写为“基于开发者角色,仅保留数据质量权限”。 角色类型:未开启企业模式,选择任一自定义角色即可。 复用预置角色:选择
普通空间均可查询到“公共层空间”目录下创建的码表,“公共层空间”无法反向查询到普通空间目录下创建的码表。 普通空间仅对本空间内创建的码表和目录有编辑权限,不支持对“公共层空间”的码表和其所属的目录进行操作,仅能查看引用。 图13 码表管理 编辑 在码表列表中,找到所需要的码表,单击其所在行的“编辑”,即可编辑指定的码表。
起使用,那么即使临时访问策略超过有效期失效后,也不影响原有的权限策略继续生效。 审计日志 开启表示记录日志,日志内容包括客户端访问时间、客户端IP、客户端用户、操作资源结果等信息。 策略名称 名称为必填项,只能包含英文字母、数字、下划线和中划线,且长度为1~50个字符,且输入不能为空。
普通空间均可查询到“公共层空间”目录下创建的数据标准,“公共层空间”无法反向查询到普通空间目录下创建的数据标准。 普通空间仅对本空间内创建的数据标准和目录有编辑权限,不支持对“公共层空间”的数据标准和其所属的目录进行操作,仅能查看引用。 图7 数据标准列表 在数据标准页面,可以执行以下操作: 搜索 在数据标准上方