检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
name_ch 是 String 中文名称。 name_en 是 String 英文名称。 description 否 String 描述信息,业务对象必填。 alias 否 String 别名。 data_owner 否 String 数据owner部门。 data_owner_list
ken的值)。 表3 请求Body参数 参数 是否必选 参数类型 描述 start 是 Object 集群启动操作,定义集群启动标识,为空对象。 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 jobId Array of strings 作业ID。 请求示例
涉及到用户的权限和资源权限控制 2 数据集成 有哪些数据源要迁移,数据源版本 CSV格式的数据,存储于OBS桶 - 每种数据源的数据全量数据规模 2,114 字节 - 每种数据源每天的增量数据规模 本示例不涉及 - 迁移目的端数据源种类以及版本 迁移到MRS Hive3.1 - 数据的迁移周期:天、小时、分钟还是实时迁移
以“fromJobConfig.”开头,具体可参见源端作业参数说明下相应的源端参数说明;对于目的端连接参数,则以“toJobConfig.”开头,具体可参见目的端作业参数说明下相应的目的端参数说明;对于作业任务参数,请参见作业任务参数说明下相应的任务参数说明。 value 是 Object
name_ch 是 String 中文名称。 name_en 是 String 英文名称。 description 否 String 描述信息,业务对象必填。 alias 否 String 别名。 data_owner 否 String 数据owner部门。 data_owner_list
参数 参数类型 描述 total Integer 总量。 records Array of CatalogVO objects 查询到的审批单对象(CatalogVO)数组。 表7 CatalogVO 参数 参数类型 描述 name_ch String 中文名称。 name_en String
目的 数据是企业核心资产,企业需要建立起数据字典,有效管理其日益重要的数据和信息资源;同时建立数据持续改进机制,来不断提升数据质量。数据的价值和风险应被有效管理,以支撑企业管理简化、业务流集成、运营效率提升和经营结果的真实呈现。数据准确是科学决策的基础,数据架构和标准的统一是全流程高效运作、语言一致的前提。
以“fromJobConfig.”开头,具体可参见源端作业参数说明下相应的源端参数说明;对于目的端连接参数,则以“toJobConfig.”开头,具体可参见目的端作业参数说明下相应的目的端参数说明;对于作业任务参数,请参见作业任务参数说明下相应的任务参数说明。 value 是 Object
数据质量操作列表 云审计服务(Cloud Trace Service,简称CTS)为用户提供了云账户下资源的操作记录,可以帮您记录相关的操作事件,便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 创建目录 Category createCategory
嵌入水印任务的名称,只能包含英文字母、数字、中文字符、下划线或中划线,且长度为1~64个字符。 为便于水印嵌入任务管理,建议名称中标明要嵌入水印的对象和水印标识。 描述 为更好地识别嵌入水印任务,此处加以描述信息。 *水印标识 系统会将水印标识嵌入到数据表中,标识长度不超过16个字符即可。
主题域分组。 l2 String 主题域。 l3 String 业务对象。 l1_id String 主题域分组ID,只读,ID字符串。 l2_id String 主题域ID。 l3_id String 业务对象ID,只读,ID字符串。 new_biz BizVersionManageVO
源端作业配置 源连接名称:选择创建MySQL连接中的“mysqllink”。 模式或表空间:选择从本地MySQL的哪个数据库导出数据。 目的端作业配置 目的连接名称:选择创建RDS连接中的“rds_link”。 模式或表空间:选择将数据导入到RDS的哪个数据库。 自动创表:选择“
小,只按照数据条数计算。在debezium.max.queue.size无法有效限制内存占用时,考虑显式设置该值来限制缓存数据的大小。 目的端优化 Kafka写入优化 Kafka写入通常速率极快,若有阻塞的场景请优先增加并发解决。 父主题: 任务性能调优
步骤4:元数据采集 为了在DataArts Studio平台中对迁移到云上的原始数据进行管理和监控,我们必须先在DataArts Studio数据目录模块中对SDI贴源层数据进行元数据采集并监控。 采集并监控元数据 在DataArts Studio控制台首页,选择对应工作空间的“数据目录”模块,进入数据目录页面。
场景说明 本案例基于某电影网站的用户和评分数据,使用DataArts Studio将MySQL原始数据处理为标准点数据集和边数据集,并同步到OBS和MRS Hive中,然后通过Import GES节点自动生成元数据后,将图数据导入到GES服务中。 图1 业务场景说明 需要额外说明的是
BINARY_FILE:二进制格式,不解析文件内容直接传输,不要求文件格式必须为二进制。适用于文件到文件的原样复制。 当选择“BINARY_FILE”时,目的端也必须为文件系统。 fromJobConfig.lineSeparator 否 String 文件中的换行符,默认自动识别"\\n"、"\
通过白名单授权IAM认证方式API IAM认证方式的API当前支持应用和白名单两种授权方式,通过IAM类型应用授权仅能授权给当前账号,而通过白名单授权可授权给任意账号,请您根据使用场景任选一种方式进行授权。 通过IAM类型应用授权。IAM类型应用本质上是当前的华为账号,每个DataArts
指定每次请求获取的行数,根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 Oracle到DWS迁移时,可能出现目的端写太久导致迁移超时的情况。此时请减少Oracle源端“单次请求行数”参数值的设置。 1000 单次提交行数 可选参数,单击“显示高级属性”后显示。
直接编辑作业的JSON文件,作用等同于修改作业的参数配置。 源目的统计查询 可对已经配置好的数据库类作业打开预览窗口,预览最多1000条数据内容。可对比源端和目的端的数据,也可以通过对比记录数来看迁移结果是否成功、数据是否丢失。 修改 修改作业参数 可重新配置作业参数,支持重新选择源连接和目的连接。 编辑作业JSON
果配置过大或过小,可能影响作业的时长。 1000 单次提交行数 可选参数,单击“显示高级属性”后显示。 指定每次批量提交的行数,根据数据目的端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 10000 SSL加密 可选参数,控制是否通过SSL加密方式连接数据仓库。