检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表3 请求Body参数 参数 是否必选 参数类型 描述 start 是 Object 集群启动操作,定义集群启动标识,为空对象。 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 jobId Array of strings 作业ID。
可以选择DWS,OBS,CSS,HIVE,CUSTOM,CloudTable和DLI类型。 确定 单击“确认”,保存节点输出功能的参数配置。 取消 单击“取消”,取消节点输出功能的参数配置。 编辑 单击,修改节点输出功能的参数配置,修改完成后,请保存。
biz_info String 业务对象信息。 status String 实体的发布状态,只读,创建和更新时无需填写。
biz_info String 业务对象信息。 status String 实体的发布状态,只读,创建和更新时无需填写。
为便于水印嵌入任务管理,建议名称中标明要嵌入水印的对象和水印标识。 描述 为更好地识别嵌入水印任务,此处加以描述信息。 *水印标识 系统会将水印标识嵌入到数据表中,标识长度不超过16个字符即可。 *纠错等级 等级越高,水印信息编码位数越长,溯源时误码率越低。
External:数据存储位置为OBS的表。当“表类型”设置为External时,需设置“OBS路径””参数。OBS路径格式如:/bucket_name/filepath。 DWS模型的表支持以下表类型: DWS_ROW:行存表。行存储是指将表按行存储到硬盘分区上。
biz_info String 业务对象信息。 status String 实体的发布状态,只读,创建和更新时无需填写。
目的端作业配置 目的连接名称:选择创建RDS连接中的“rds_link”。 模式或表空间:选择将数据导入到RDS的哪个数据库。 自动创表:选择“不存在时创建”,当RDS数据库中没有本地MySQL数据库里的表时,CDM会自动在RDS数据库中创建那些表。
场景说明 本案例基于某电影网站的用户和评分数据,使用DataArts Studio将MySQL原始数据处理为标准点数据集和边数据集,并同步到OBS和MRS Hive中,然后通过Import GES节点自动生成元数据后,将图数据导入到GES服务中。
步骤4:元数据采集 为了在DataArts Studio平台中对迁移到云上的原始数据进行管理和监控,我们必须先在DataArts Studio数据目录模块中对SDI贴源层数据进行元数据采集并监控。 采集并监控元数据 在DataArts Studio控制台首页,选择对应工作空间的“数据目录
通过白名单授权IAM认证方式API IAM认证方式的API当前支持应用和白名单两种授权方式,通过IAM类型应用授权仅能授权给当前账号,而通过白名单授权可授权给任意账号,请您根据使用场景任选一种方式进行授权。 通过IAM类型应用授权。IAM类型应用本质上是当前的华为账号,每个DataArts
Oracle到DWS迁移时,可能出现目的端写太久导致迁移超时的情况。此时请减少Oracle源端“单次请求行数”参数值的设置。 1000 单次提交行数 可选参数,单击“显示高级属性”后显示。 指定单次批量提交的行数。
可对比源端和目的端的数据,也可以通过对比记录数来看迁移结果是否成功、数据是否丢失。 修改 修改作业参数 可重新配置作业参数,支持重新选择源连接和目的连接。 编辑作业JSON 直接编辑作业的JSON文件,作用等同于修改作业的参数配置。
指定每次批量提交的行数,根据数据目的端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 10000 SSL加密 可选参数,控制是否通过SSL加密方式连接数据仓库。 是 说明: 启用SSL加密需确保DWS本身已启用SSL加密。
通过应用授权IAM认证方式API IAM认证方式的API当前支持应用和白名单两种授权方式,通过IAM类型应用授权仅能授权给当前账号,而通过白名单授权可授权给任意账号,请您根据使用场景任选一种方式进行授权。 通过IAM类型应用授权。IAM类型应用本质上是当前的华为账号,每个DataArts
在选择UDF Jar之前,您需要将UDF Jar包上传至OBS桶中,并在“资源管理”页面中新建资源,具体操作请参考新建资源。 用户可以在SQL中调用插入Jar包中的自定义函数。 DLI队列 是 默认选择“共享队列”,用户也可以选择自定义的独享队列。
l3 String 业务对象。 l1_id String 主题域分组ID,只读,ID字符串。 l2_id String 主题域ID。 l3_id String 业务对象ID,只读,ID字符串。
当选择“BINARY_FILE”时,目的端也必须为文件系统。 fromJobConfig.lineSeparator 否 String 文件中的换行符,默认自动识别"\\n"、"\\r"或"\\r\\n"。手动配置特殊字符,如空格回车需使用URL编码后的值。
6 查看作业实例状态 单击作业名称前方的,查看该作业下的子作业ID、源端数据源、目的端数据源、异常信息等内容。 7 查看作业详细信息 单击作业名称,支持查看该作业的基本信息、监控信息、日志信息。查看作业详细信息请参见实时集成作业监控:查看作业详细信息。
在选择Jar包之前,您需要先将Jar包上传至OBS桶中,并在“资源管理”页面中新建资源将Jar包添加到资源管理列表中,具体操作请参考新建资源。 Jar包参数 否 Jar包的参数。 输入数据路径 否 选择输入数据所在的路径。 输出数据路径 否 选择输出数据存储的路径。