检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
日志:在权限集详情页面,单击“日志”进入日志页签。 在日志页签,当权限同步失败后,您可以查看到日志详情。系统每天0点定时删除30天前的日志。 图10 查看日志 权限集配置完成后,权限管控并不会直接生效。需要您手动将权限同步到数据源中,同步成功后权限管控才能生效,详见同步权限集。 实际上,由于空间权限集
create_time Long 创建时间。 create_user String 创建者。 update_time Long 更新时间。 update_user String 更新者。 状态码: 400 表5 响应Body参数 参数 参数类型 描述 error_code String 错误码。
update_time String 更新时间,只读,格式遵循RFC3339,精确到秒,UTC时区,即yyyy-mm-ddTHH:MM:SSZ,如1970-01-01T00:00:00Z。 create_by String 创建人。 update_by String 更新人。 type String
对源系统进来的数据进行整合、清洗,并基于三范式进行关系建模。 物理模型设计时的考虑事项如下: 物理模型要确保业务需求及业务规则所要求的功能得到满足,性能得到保障。 物理模型要确保数据的一致性及数据的质量。 新业务或新功能增加时能够以较少的改动或不改动就能够满足需求的扩展。 维度
ctor:DMSKafka连接。 update-date 否 Long 更新连接的时间。 enabled 否 Boolean 是否激活连接,默认为“true”。 update-user 否 String 更新连接的用户。 表5 link-config-values 参数 是否必选
单击“测试运行”,执行该脚本作业。 待测试完成,执行“提交”。 在“作业监控”界面,查看作业执行结果。 图8 查看作业执行结果 日志验证。 运行成功后,登录MRS manager后在YARN上查看日志,发现有hello python的输出。 图9 查看YARN上日志 父主题: 使用教程
${dateformat(yyyyMMdd)} Where子句 读取方式为JDBC时,单击“显示高级属性”后显示此参数。 填写该参数表示指定抽取的WHERE子句,不指定则抽取整表。如果要迁移的表中没有WHERE子句的字段,则会迁移失败。 该参数支持配置为时间宏变量,实现抽取指定日期的数据,详细说明请参见关系数据库增量迁移。
onnector:DMSKafka连接。 update-date Long 更新连接的时间。 enabled Boolean 是否激活连接,默认为“true”。 update-user String 更新连接的用户。 表5 link-config-values 参数 参数类型 描述
String 策略创建人。 created_at Long 策略创建时间。 updated_by String 策略更新人。 updated_at Long 策略更新时间。 builtin_rule_id String 内置规则ID。 category_id String 分类ID。
Object),key:关联关系类型,value:关联关系信息。 type_name String 资产类型。 updated_by String 更新人。 update_time Number 更新时间。 tags Array of TagHeader objects 标签。 classification_names
写入模式 enum UPSERT DWS的写入模式,可在目的端配置中设置,实时处理集成作业推荐使用COPY MODE。 UPSERT:为批量更新入库模式。 COPY:为DWS专有的高性能批量入库模式。 批写最大数据量 int 50000 DWS单次写入的最大条数,可在目的端配置中设置。
目标数据库多的列要求非空且没有默认值,源数据库insert数据,同步到目标数据库后多的列为null,不符合目标数据库要求。 目标数据库多的列设置固定默认值,且有唯一约束。源数据库insert多条数据后,同步到目标数据库后多的列为固定默认值,不符合目标数据库要求。 Migration自动建表
最多可选5个数据表。如果要取消,选中下图中已关联的数据表,请先删除对应节点。 表达式配置 *设定表达式 根据实际情况选择所需要的函数和字段,并设定表达式。函数列表及函数说明请参考函数说明。 描述 描述信息。支持的长度为0~600个字符。 基本参数配置完成后,单击“发布”,在弹出框
参数位置选择PATH。 类型设置为STRING。 选择性配置示例值和描述。 配置好API基本信息后,单击“下一步”,即可进入API取数逻辑页面。 配置API参数 配置API基本信息后,即可配置API参数。这里将配置API的后端服务和请求参数。 表2 API参数配置说明 配置 说明
ctor:DMSKafka连接。 update-date 否 Long 更新连接的时间。 enabled 否 Boolean 是否激活连接,默认为“true”。 update-user 否 String 更新连接的用户。 表6 link-config-values 参数 是否必选
部署者:企业模式独有,具备工作空间内任务包发布的相关操作权限。在企业模式中,开发者提交脚本或作业版本后,系统会对应产生发布任务。开发者确认发包后,需要部署者审批通过,才能将修改后的作业同步到生产环境。 自定义角色:如果预置角色不能满足您的需求,您也可以创建自定义角色。自定义角色的
标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件 是 选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。 说明: 当开启数据集成作业特性后,可勾选数据集成组件,勾选后在数据开
ata/default/table_20180815”,表示迁移“table_20180815”这个目录下所有文件。 文件格式:文件的复制要选择“二进制格式”。 目的端作业配置 目的连接名称:选择上面创建的MRS HDFS连接。 写入目录:选择MRS HBase的目录,例如“/h
toJobConfig.writeToTempFile 否 Boolean 将二进制文件先写入到临时文件(临时文件以“.tmp”作为后缀),迁移成功后,再进行rename或move操作,在目的端恢复文件。 toJobConfig.validateMD5 否 Boolean 选择是否校验MD
update_by String 更新人,只读。 create_time String 创建时间,只读,格式遵循RFC3339,精确到秒,UTC时区,即yyyy-mm-ddTHH:MM:SSZ,如1970-01-01T00:00:00Z。 update_time String 更新时间,只读,格式