检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
权限治理使用流程 统一权限治理提供了对于MRS、DWS、DLI数据湖仓中的库、表、字段的访问权限配置的核心能力,包含如下特性: 集中式访问控制 融合了不同的大数据服务进行统一权限管理,如MRS、DWS、DLI等,给用户带来了统一的权限配置入口,极大的提高了易用性和可维护性。 多级权限配置模型
抽取整表。如果待迁移的表中没有Where子句的字段,则迁移失败。 该参数支持配置为时间宏变量,实现抽取指定日期的数据,详细说明请参见关系数据库增量迁移。 age > 18 and age <= 60 分区字段是否允许空值 选择分区字段是否允许空值。 是 Hive 数据库名称 待迁
type=xxxxxx”的长字符串并单击,在右侧区域中选择“Preview”,依次展开字段,查找“guest_agent_version”字段,其值即为DWS集群的guest agent版本。 图2 查找“guest_agent_version”字段 如果非所需版本,请联系DWS服务客服或技术支持人员。 配置Ranger组件
配置实例超时是否忽略等待时间。 如果勾选上,表示实例运行时等待时间不会被计入超时时间,可前往默认项设置修改此策略。 如果未选上,表示实例运行时等待时间会被计入超时时间。 自定义字段 配置自定义字段的参数名称和参数值。 作业标签 配置作业的标签,用以分类管理作业。 单击“新增”,可给作业重新
目标数据库连接账号 - 建议创建单独用于Migration任务连接的数据库账号,避免因为数据库账号密码修改,导致的任务连接失败。 连接源和目标数据库的账号密码修改后,请同步修改管理中心对应的连接信息,避免任务连接失败后自动重试,导致数据库账号被锁定影响使用。 支持的同步对象范围
fieldSeparator 否 String 字段分隔符,当文件格式为“CSV_FILE”时此参数有效,默认值为:“,”。 fromJobConfig.quoteChar 否 Boolean 是否使用包围符,选择“true”时,包围符内的字段分隔符会被视为字符串值的一部分,目前CDM默认的包围符为:"。
fieldSeparator 否 String 字段分隔符,当文件格式为“CSV_FILE”时此参数有效,默认值为:“,”。 fromJobConfig.quoteChar 否 Boolean 是否使用包围符,选择“true”时,包围符内的字段分隔符会被视为字符串值的一部分,目前CDM默认的包围符为:"。
Administrator、Tenant Administrator或者数据安全管理员可以创建、修改或删除数据密级、分类和识别规则,其他普通用户无权限操作。 配置默认密级后,MRS Hive和DWS数据源中所有未被标记密级的数据表和字段(包括存量和增量数据)将被标记为默认密级,默认密级支持在数据地图组件中
根据表guid可以获取表的详情信息,表的详情信息包含column的信息,也可以根据column的guid直接获取column的信息。 添加或修改资产 添加或修改资产。 删除资产 删除资产。 资产分类接口 表6 资产分类接口 API 说明 批量资产关联分类 批量资产关联分类:只支持对数据表的列和OBS对象添加分类。
数据类型、表示格式、值域是数据交换的基础,它们用于描述表的字段元信息,规范字段所存储的数据信息。 本章节介绍如何创建数据标准,创建好的数据标准,可用于在关系建模中新建业务表时与业务表中的字段相关联,从而约束业务表中的字段遵从指定的数据标准。 约束与限制 单工作空间允许创建的数据标
图9 作业配置 在字段映射中,请参考以下说明配置字段映射以及日期字段的时间格式,如图10所示,配置完成后,单击“下一步”。 字段映射:在本示例中,由于数据迁移的目标表字段顺序和原始数据的字段顺序是一样的,因此这里不需要调整字段映射的顺序。 如果目标表字段顺序和原始数据不一致,
描述 id String 码表字段ID,ID字符串。 code_table_id String 所属码表ID(更新时必填),ID字符串。 ordinal Integer 序号。 name_en String 字段名,英文。 name_ch String 字段名,中文。 description
直接编辑作业的JSON文件,作用等同于修改作业的参数配置。 源目的统计查询 可对已经配置好的数据库类作业打开预览窗口,预览最多1000条数据内容。可对比源端和目的端的数据,也可以通过对比记录数来看迁移结果是否成功、数据是否丢失。 修改 修改作业参数 可重新配置作业参数,支持重新选择源连接和目的连接。
名称。 field_ids 是 Array of strings 字段id信息,格式:table_id.field_id。 field_names 否 Array of strings 字段名称信息,格式:表名称.字段名称。 cal_exp 是 String 计算表达式,形如'${table_id
参数类型 描述 target_field_id String 目标字段ID,当前表的某个字段,ID字符串。 target_field_name String 目标字段编码。 field_ids String 来源字段ID,多个ID以逗号分隔。 transform_expression
则有可能因为特征不够导致提取失败。常见的适合嵌入水印的列如地址、姓名、UUID、金额、总数等。 数值整型字段嵌入水印可能会出现数据被修改的情况,请选择可以接受值发生改变的字段插入水印。 结构化数据文件的水印提取与数据水印的水印溯源任务无关。仅支持同一账号下用户对已通过水印注入或管
添加唯一约束 AlterDatabaseEvent 修改数据库 AddPartitionEvent 添加分区 AlterPartitionEvent 修改分区 AlterTableEvent 修改表 AlterCatalogEvent 修改目录 CreateCatalogEvent创建目录
hits”,然后在作业第二步添加转换器,操作步骤如下: 单击添加字段,新增一个字段。 图2 添加字段 在添加的新字段后面,单击添加字段转换器。 图3 添加字段转换器 创建“表达式转换”的转换器,表达式输入“1.0”,然后保存。 图4 配置字段转换器 二进制格式 如果想要在文件系统间按原样复制文
描述 target_field_id 否 String 目标字段ID,当前表的某个字段,ID字符串。 target_field_name 是 String 目标字段编码。 field_ids 否 String 来源字段ID,多个ID以逗号分隔。 transform_expression
后的按钮就可以删除该JOIN表。 图4 JOIN条件 字段映射 为来源于当前映射的字段,依次选择一个含义相同的源字段。如果表字段来源于多个模型,您需要新建多个映射,每个映射中,您只需要为来源于当前映射的字段设置源字段,其他字段可以不设置。 在映射区域的右上角,单击按钮,可以删除指定的映射,单击可以收起映射区域。