检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Studio支持对接所有华为云的数据湖与数据库云服务作为数据底座,例如MRS Hive、数据仓库服务DWS等,也支持对接企业传统数据仓库,例如Oracle、MySQL等。 DataArts Studio包含如下功能组件: 管理中心 提供DataArts Studio数据连接管理的能力,将DataArts
fieldSeparator 否 String 字段分隔符,当文件格式为“CSV_FILE”时此参数有效,默认值为:“,”。 fromJobConfig.quoteChar 否 Boolean 是否使用包围符,选择“true”时,包围符内的字段分隔符会被视为字符串值的一部分,目前CDM默认的包围符为:"。
根据表guid可以获取表的详情信息,表的详情信息包含column的信息,也可以根据column的guid直接获取column的信息。 添加或修改资产 添加或修改资产。 删除资产 删除资产。 资产分类接口 表6 资产分类接口 API 说明 批量资产关联分类 批量资产关联分类:只支持对数据表的列和OBS对象添加分类。
type=xxxxxx”的长字符串并单击,在右侧区域中选择“Preview”,依次展开字段,查找“guest_agent_version”字段,其值即为DWS集群的guest agent版本。 图2 查找“guest_agent_version”字段 如果非所需版本,请联系DWS服务客服或技术支持人员。 配置Ranger组件
名称。 field_ids 是 Array of strings 字段id信息,格式:table_id.field_id。 field_names 否 Array of strings 字段名称信息,格式:表名称.字段名称。 cal_exp 是 String 计算表达式,形如'${table_id
fromJobConfig.columnList 否 String 需要抽取的字段列表,字段名之间使用“&”分割,例如:“id&gid&name”。 fromJobConfig.partitionColumn 否 String 抽取分区字段,依据此字段将作业分割为多个任务并发执行,例如:“id”。 fromJobConfig
直接编辑作业的JSON文件,作用等同于修改作业的参数配置。 源目的统计查询 可对已经配置好的数据库类作业打开预览窗口,预览最多1000条数据内容。可对比源端和目的端的数据,也可以通过对比记录数来看迁移结果是否成功、数据是否丢失。 修改 修改作业参数 可重新配置作业参数,支持重新选择源连接和目的连接。
在弹出的页面中配置关联质量规则参数。配置完成单击确定。 更新已有规则:若勾选此项,新添加的规则会覆盖旧规则。 匹配字段:此参数默认应用于所有字段,依据用户输入的正则表达式对字段进行过滤。 Where条件:可依据用户输入的where条件对字段进行过滤。 生成异常数据:开启此项,表示异常数据将按照配置的参数存储到规定的库中。
fieldSeparator 否 String 字段分隔符,当文件格式为“CSV_FILE”时此参数有效,默认值为:“,”。 fromJobConfig.quoteChar 否 Boolean 是否使用包围符,选择“true”时,包围符内的字段分隔符会被视为字符串值的一部分,目前CDM默认的包围符为:"。
Administrator、Tenant Administrator或者数据安全管理员可以创建、修改或删除数据密级、分类和识别规则,其他普通用户无权限操作。 配置默认密级后,MRS Hive和DWS数据源中所有未被标记密级的数据表和字段(包括存量和增量数据)将被标记为默认密级,默认密级支持在数据地图组件中
标准化定义。为保障所有统计指标统一、标准、规范地构建,时间限定在业务板块内唯一,并唯一归属于一个来源逻辑表,计算逻辑也以该来源逻辑表模型的字段为基础进行定义。由于一个时间限定的定义可能来自于归属不同数据域的多个逻辑表,因此一个时间限定可能归属于多个数据域。 新建时间限定并发布 在DataArts
添加唯一约束 AlterDatabaseEvent 修改数据库 AddPartitionEvent 添加分区 AlterPartitionEvent 修改分区 AlterTableEvent 修改表 AlterCatalogEvent 修改目录 CreateCatalogEvent创建目录
对于pre_order_by的值,您可以进行如下修改: 删掉某可选的排序参数,则此排序参数不再参与排序。 修改自定义排序方式的排序参数为升序或降序方式,则此排序参数按照修改后的排序方式排序。 pre_order_by的值,不支持进行如下修改,否则会修改不生效或导致调用报错。 删掉某必选的排
描述,长度不能超过255个字符。 owner 否 String 责任人名称 targetStatus 否 String 在开启审批开关后,需要填写该字段。表示创建脚本的目标状态,有三种状态:SAVED、SUBMITTED和PRODUCTION,分别表示脚本创建后是保存态,提交态,生产态。
图9 作业配置 在字段映射中,请参考以下说明配置字段映射以及日期字段的时间格式,如图10所示,配置完成后,单击“下一步”。 字段映射:在本示例中,由于数据迁移的目标表字段顺序和原始数据的字段顺序是一样的,因此这里不需要调整字段映射的顺序。 如果目标表字段顺序和原始数据不一致,
例如:year=2020,location=sun。 - 高级属性 入库时间字段 将一个字段标记为入库时间字段,自动建表时将此字段自动加到建表语句中,写入Hudi时将把此字段的值替换为当前时间。所选字段必须为timestamp类型。 - 写入参数 在执行Spark SQL往hud
023-02-27至2023-03-01)。 图4 补数据 表2 参数说明 参数 说明 补数据名称 系统自动生成一个补数据的任务名称,允许修改。 作业名称 系统自动显示需要补数据的作业名称。 业务日期 选择需要补数据的时间段。这个业务日期会传递给作业的计划时间。作业运行时,作业计
则有可能因为特征不够导致提取失败。常见的适合嵌入水印的列如地址、姓名、UUID、金额、总数等。 数值整型字段嵌入水印可能会出现数据被修改的情况,请选择可以接受值发生改变的字段插入水印。 结构化数据文件的水印提取与数据水印的水印溯源任务无关。仅支持同一账号下用户对已通过水印注入或管
如果勾选上,表示实例运行时等待时间不会被计入超时时间,可前往默认项设置 > 实例超时是否忽略等待时间修改此策略。 如果未选上,表示实例运行时等待时间会被计入超时时间。 自定义字段 配置自定义字段的参数名称和参数值。 作业标签 配置作业的标签,用以分类管理作业。 单击“新增”,可给作业重新
DDS连接适用于华为云上的文档数据库服务,常用于从DDS同步数据到大数据平台。 连接云服务DDS时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 DDS连接参数 参数名 说明 取值样例 名称 连接的名称,根