华为云用户手册

  • 请求示例 转存存储在OBS桶中的HLS视频至点播服务中(ts文件需和m3u8文件在同一目录下) POST https://{endpoint}/v1.0/{project_id}/asset/reproduction Content-Type: application/json { "video_type": "HLS", "title": "tittle", "auto_publish": 1, "input": { "bucket": "bucket_name", "location": "cn-north-4", "object": "test/hls/test_video.m3u8" }, "storage_mode": 1, "output_bucket": "bucket_name", "output_path": "test/hls" } 转存存储在OBS桶中的音视频文件至点播服务中 POST https://{endpoint}/v1.0/{project_id}/asset/reproduction Content-Type: application/json { "input": { "bucket": "bucket", "location": "cn-north-4", "object": "path" }, "title": "title", "description": "des", "category_id": -1, "tags": "test", "video_type": "MP4", "auto_publish": 1, "template_group_name": "tempName" }
  • 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 否 String 用户Token,使用Token鉴权方式时必选。 通过调用 IAM 服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 Authorization 否 String 使用AK/SK方式认证时必选,携带的鉴权信息。 X-Sdk-Date 否 String 使用AK/SK方式认证时必选,请求的发生时间。 表3 请求Body参数 参数 是否必选 参数类型 描述 video_type 是 String 转存的音视频文件类型。 取值如下: 视频文件:MP4、TS、MOV、MXF、MPG、FLV、WMV、AVI、M4V、F4V、MPEG、3GP、ASF、MKV、HLS、RMVB、WEBM 音频文件:MP3、OGG、WAV、WMA、APE、FLAC、AAC、AC3、MMF、AMR、M4A、M4R、WV、MP2 若上传格式为音频文件,则不支持转码、添加水印和字幕。 说明: 当video_type选择HLS时,storage_mode(存储模式)需选择存储在租户桶,且输出路径设置为和输入路径在同一个目录。 title 是 String 媒资标题,长度不超过128个字节,UTF-8编码。 description 否 String 视频描述,长度不超过1024个字节。 category_id 否 Integer 媒资分类ID。 您可以调用创建媒资分类接口或在点播控制台的分类设置中创建对应的媒资分类,并获取分类ID。 说明: 若不设置或者设置为-1,则上传的音视频归类到系统预置的“其它”分类中。 tags 否 String 视频标签 。 单个标签不超过24个字节,最多不超过16个标签。 多个用逗号分隔,UTF8编码。 auto_publish 否 Integer 是否自动发布。 取值如下: 0:表示不自动发布。 1:表示自动发布。 默认值:1。 template_group_name 否 String 转码模板组名称。 若不为空,则使用指定的转码模板对上传的音视频进行转码,您可以在 视频点播 控制台配置转码模板,具体请参见《点播服务用户指南》中的“转码设置”。 说明: 若同时设置了“template_group_name”和“workflow_name”字段,则“template_group_name”字段生效。 auto_encrypt 否 Integer 是否自动加密。 取值如下: 0:表示不加密。 1:表示需要加密。 默认值:0。 若设置为需要加密,则必须配置转码模板,且转码的输出格式是HLS。 auto_preheat 否 Integer 是否自动预热到CDN。 取值如下: 0:表示不自动预热。 1:表示自动预热。 默认值:0。 thumbnail 否 Thumbnail object 截图参数 review 否 Review object 媒资审核参数。 说明: 仅“华北-北京一”、“华北-北京四”点播服务支持此功能。 workflow_name 否 String 工作流名称。若不为空,则使用指定的工作流对上传的音视频进行处理,您可以在视频点播控制台配置工作流,具体请参见《点播服务用户指南》中的“工作流设置”。 input 是 File_addr object 媒资存储参数信息。查询接口,仅媒资为托管时有返回值。 storage_mode 否 Integer 存储模式。 取值如下: 0:表示视频拷贝到点播桶。 1:表示视频存储在租户桶。 默认值:0 output_bucket 否 String 输出桶名,“storage_mode”为1时必选。 output_path 否 String 输出路径名,“storage_mode”为1时必选。 表4 Thumbnail 参数 是否必选 参数类型 描述 type 是 String 截图类型。 取值如下: time:每次进行截图的间隔时间。 dots: 按照指定的时间点截图。 quantity: 按照指定张数,根据视频时长等分视频截图。 quantity 否 Integer type取值为quantity时必填。 按照指定张数,根据视频时长等分视频截图。 取值范围:[1,10]之间的整数。 quantity_time 否 Integer type取值为quantity时选填。 按照指定时间间隔取指定张数截图。 取值范围:[0,2147483647]之间的整数。 time 否 Integer 根据时间间隔采样时的时间间隔值。单位:秒。 type取值为time时。 默认值:12 取值范围:[0,100]之间的整数。 dots 否 Array of integers type取值为dots时必填。指定时间截图时的时间点数组。 cover_position 否 Integer 该值表示指定第几张截图作为封面。 默认值:1。 format 否 Integer 截图文件格式。 取值如下: 1:jpg。 默认值:1 。 aspect_ratio 否 Integer 纵横比,图像缩放方式。 取值如下: 0:自适应(保持原有宽高比)。 1:16:9。 默认值:0。 max_length 否 Integer 截图最长边的尺寸。 单位:像素。 宽边尺寸按照该尺寸与原始视频像素等比缩放计算。 默认值:480。 表5 Review 参数 是否必选 参数类型 描述 template_id 是 String 审核模板ID。您可以在视频点播控制台配置审核模板后获取,具体请参见《点播服务用户指南》中的“审核设置”。 说明: 仅“华北-北京一”、“华北-北京四”点播服务支持此功能。 interval 否 Integer 截图检测时间间隔,取值范围为[0,100],该参数在请求参数中忽略。 politics 否 Integer 鉴政内容检测置信度,取值范围为[0,100],该参数在请求参数中忽略。 置信度越高,说明审核结果越可信。未开启或设置为0时,表示未进行此项检测。 terrorism 否 Integer 鉴恐内容的检测置信度,取值范围为[0,100],该参数在请求参数中忽略。 置信度越高,说明审核结果越可信。未开启或设置为0时,表示未进行此项检测。 porn 否 Integer 鉴黄内容的检测置信度,取值范围为[0,100],该参数在请求参数中忽略。 置信度越高,说明审核结果越可信。未开启或设置为0时,表示未进行此项检测。 表6 File_addr 参数 是否必选 参数类型 描述 bucket 是 String OBS的bucket名称。 location 是 String 桶所在的区 域名 , 如“华北-北京四”的区域名为“cn-north-4”,创建的桶所在区域必须和点播服务所在区域保持一致。 object 是 String 文件的存储路径。
  • 功能介绍 若您在使用点播服务前,已经在OBS桶中存储了音视频文件,可以使用该接口将OBS桶中的音视频文件转存至点播服务,再使用点播服务音视频管理功能。 使用该接口前,需要提前完成下述操作: 参考VOD用户指南“创建用户并授权使用VOD”章节,授权用户使用VOD。 参考OBS控制台指南“创建用户并授权使用OBS”章节,授权用户使用OBS。 调用该接口前,您需要调用VOD桶授权接口,将存储音视频文件的OBS桶授权给点播服务使用。
  • 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 否 String 用户Token,使用Token鉴权方式时必选。 通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 Authorization 否 String 使用AK/SK方式认证时必选,携带的鉴权信息。 X-Sdk-Date 否 String 使用AK/SK方式认证时必选,请求的发生时间。 表3 请求Body参数 参数 是否必选 参数类型 描述 id 是 String 水印模板配置id name 是 String 水印模板名称 dx 否 String 水印图片相对输出视频的水平偏移量,默认值是0。 设置方法有两种,建议小数型,整数型可能导致控制台图片无法预览,但不影响转码: 整数型:表示图片起点水平偏移视频顶点的像素值,单位px。取值范围:[0,4096] 小数型:表示图片起点相对于视频分辨率宽的水平偏移比率。取值范围:(0,1),支持4位小数,如0.9999,超出部分系统自动丢弃。 dy 否 String 水印图片相对输出视频的垂直偏移量,默认值是0。 设置方法有两种,建议小数型,整数型可能导致控制台图片无法预览,但不影响转码: 整数型:表示图片起点垂直偏移视频顶点的像素值,单位px。取值范围:[0,4096] 小数型:表示图片起点相对于视频分辨率高的垂直偏移比率。取值范围:(0,1),支持4位小数,如0.9999,超出部分系统自动丢弃。 position 否 String 水印的位置,默认TOPRIGHT。 目前包括: TOPRIGHT:右上位置 TOPLEFT:左上位置 BOTTOMRIGHT:右下位置 BOTTOMLEFT:左下位置 width 否 String 水印图片宽,建议小数型,整数型可能导致控制台图片无法预览,但不影响转码。 值有两种形式: 整数型代水印图片宽的像素值,范围[8,4096],单位px。 小数型代表相对输出视频分辨率宽的比率,范围(0,1),支持4位小数,如0.9999,超出部分系统自动丢弃。 height 否 String 水印图片高,建议小数型,整数型可能导致控制台图片无法预览,但不影响转码。 值有两种形式: 整数型代表水印图片高的像素值,范围[8,4096],单位px。 小数型代表相对输出视频分辨率高的比率,范围(0,1),支持4位小数,如0.9999,超出部分系统自动丢弃。 watermark_type 否 String 水印类型,当前只支持IMAGE(图片水印) image_process 否 String watermark_type设置为IMAGE时有效。 目前包括: ORIGINAL:只做简单缩放,不做其他处理 TRANSPARENT:图片底色透明 GRAYED:彩色图片变灰 timeline_start 否 String 水印开始时间,与"timeline_duration"配合使用。 取值范围:[0, END)。"END"表示视频结束时间。 单位:秒。 timeline_duration 否 String 水印持续时间,与"timeline_start"配合使用。 取值范围:(0,END-开始时间]。"END"表示视频结束时间。 单位:秒。 默认:END。
  • 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 否 String 用户Token,使用Token鉴权方式时必选。 通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 Authorization 否 String 使用AK/SK方式认证时必选,携带的鉴权信息。 X-Sdk-Date 否 String 使用AK/SK方式认证时必选,请求的发生时间。
  • 响应示例 状态码: 200 处理成功返回。 { "delete_result_array" : [ { "asset_id" : "f488337c31c8e4622f1590735b134c65", "status" : "DELETED" } ] } 状态码: 403 处理失败返回。 { "error_code" : "VOD.10062", "error_msg" : "Media asset or resource does not exist, please check." }
  • URI DELETE /v1.0/{project_id}/asset 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参考获取项目ID 表2 Query参数 参数 是否必选 参数类型 描述 asset_id 是 Array of strings 媒资ID,支持一次删除多个媒资,批量删除时以逗号分隔。取值范围[1,10]。 delete_type 否 String 删除类型,当值为origin时只删除源文件,保留转码后文件,不填的话走默认删除整个媒资。
  • 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 否 String 用户Token,使用Token鉴权方式时必选。 通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 Authorization 否 String 使用AK/SK方式认证时必选,携带的鉴权信息。 X-Sdk-Date 否 String 使用AK/SK方式认证时必选,请求的发生时间。
  • 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 delete_result_array Array of DeleteResult objects 删除媒资任务的处理结果。 表5 DeleteResult 参数 参数类型 描述 asset_id String VOD分配的媒资ID,仅支持查询,不支持修改。 status String 删除状态。 取值如下: DELETED:已删除。 FAILED:删除失败。 状态码: 403 表6 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 错误描述。
  • 响应示例 状态码: 200 处理成功返回。 { "template_group_collection_list" : [ { "group_collection_id" : "9751249d25f14587b212544d6fd8dcf8", "name" : "test", "template_group_list" : [ { "group_id" : "9751249d25f14587b212544d6fd8dcf8", "name" : "test112", "status" : "0", "type" : "custom_template_group", "auto_encrypt" : 0, "quality_info_list" : [ { "video" : { "quality" : "UNKNOW", "width" : 0, "height" : 0, "bitrate" : 0, "frame_rate" : 0 }, "audio" : null, "format" : "UNKNOW" } ], "watermark_template_ids" : null, "description" : null, "common" : { "pvc" : null, "pvc_version" : null, "video_codec" : null, "audio_codec" : "AAC", "hls_interval" : 0 } } ] } ], "total" : 1 } 状态码: 400 处理失败返回。 { "error_code" : "VOD.10053", "error_msg" : "The request parameter is illegal, illegal field: {xx}." }
  • 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 template_group_collection_list Array of TemplateGroupCollection objects 模板组集合信息 total Integer 总记录条数 表5 TemplateGroupCollection 参数 参数类型 描述 group_collection_id String 模板组集合id name String 模板组集合名称 description String 模板介绍 template_group_list Array of TemplateGroup objects 转码组列表 表6 TemplateGroup 参数 参数类型 描述 group_id String 模板组id name String 模板组名称 status String 是否默认 type String 模板组类型 auto_encrypt Integer 是否自动加密。 取值如下: 0:表示不加密。 1:表示需要加密。 默认值:0。 加密与转码必须要一起进行,当需要加密时,转码参数不能为空,且转码输出格式必须要为HLS。 quality_info_list Array of QualityInfo objects 画质配置信息列表 watermark_template_ids Array of strings 绑定的水印模板组ID数组 description String 模板介绍 common Common object 高清低码开关,高清低码版本,编码格式多路共同参数 表7 QualityInfo 参数 参数类型 描述 video VideoTemplateInfo object 模板视频信息 audio AudioTemplateInfo object 模板音频信息 format String 格式。 表8 VideoTemplateInfo 参数 参数类型 描述 quality String 画质。 width Integer 视频宽度。 height Integer 视频高度。 bitrate Integer 码率。 frame_rate Integer 帧率(默认为1,1代表自适应,单位是帧每秒)。 表9 AudioTemplateInfo 参数 参数类型 描述 sample_rate Integer 音频采样率(有效值范围) 1:AUDIO_SAMPLE_AUTO 2:AUDIO_SAMPLE_22050 3:AUDIO_SAMPLE_32000 4:AUDIO_SAMPLE_44100 5:AUDIO_SAMPLE_48000 6:AUDIO_SAMPLE_96000 默认值为1。 bitrate Integer 音频码率(单位:Kbps)。 channels Integer 声道数(有效值范围) 1:AUDIO_CHANNELS_1 2:AUDIO_CHANNELS_2 表10 Common 参数 参数类型 描述 pvc String 高清低码开关。 pvc_version String 高清低码版本。 video_codec String 视频编码格式。 audio_codec String 音频编码格式(有效值范围) 1:AUDIO_CODECTYPE_AAC 2:AUDIO_CODECTYPE_HEAAC1 3:AUDIO_CODECTYPE_HEAAC2 4:AUDIO_CODECTYPE_MP3 默认值为1。 hls_interval Integer 分片时长(默认为5秒)。 状态码: 400 表11 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 错误描述。
  • 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 否 String 用户Token,使用Token鉴权方式时必选。 通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 Authorization 否 String 使用AK/SK方式认证时必选,携带的鉴权信息。 X-Sdk-Date 否 String 使用AK/SK方式认证时必选,请求的发生时间。
  • URI GET /v1.0/{project_id}/asset/template-collection/transcodings 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参考获取项目ID 表2 Query参数 参数 是否必选 参数类型 描述 group_collection_id 否 String 模板组集合id offset 否 Integer 偏移量。默认为0。指定group_collection_id时该参数无效。 limit 否 Integer 每页记录数。默认为10,范围[1,100]。指定group_collection_id时该参数无效。
  • 响应示例 状态码: 200 处理成功返回。 { "total" : 1, "assets" : [ { "asset_id" : "67d1470893419bfcb9663103dd8a66ac", "title" : "video.mp4", "duration" : 60, "size" : 12881945, "category" : "其他", "covers" : [ { "cover_url" : "https://355.cdn-vod.huaweicloud.com/asset/67d1470893419bfcb9663103dd8a66ac/cover/Cover0.jpg" } ], "create_time" : "20190625020756", "asset_status" : "PUBLISHED", "transcode_status" : "TRANSCODE_SUCCEED", "thumbnail_status" : "UN_THUMBNAIL", "review_status" : "UN_REVIEW", "exec_desc" : "asset_exec_desc:Asset meta is\npublished;transcode_exec_desc:Transcode success;", "media_type" : "MP4" } ] } 状态码: 400 处理失败返回。 { "error_code" : "VOD.10053", "error_msg" : "The request parameter is illegal, illegal field: {xx}." }
  • 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 否 String 用户Token,使用Token鉴权方式时必选。 通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 Authorization 否 String 使用AK/SK方式认证时必选,携带的鉴权信息。 X-Sdk-Date 否 String 使用AK/SK方式认证时必选,请求的发生时间。
  • 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 total Integer 媒资总数 说明: 暂只能统计2万个媒资,若您需要查询具体的媒资总数,请提交工单申请。 assets Array of AssetSummary objects 媒资列表 表5 AssetSummary 参数 参数类型 描述 asset_id String VOD分配的媒资ID,仅支持查询,不支持修改。 title String 媒资标题。长度不超过128个字节,UTF-8编码。 description String 媒资描述。长度不超过1024个字节。 duration Integer 媒资时长。 单位:秒。 size Long 媒资大小。 单位:字节。 original_url String 原始播放url。 category String 媒资分类名称。 covers Array of CoverInfo objects 封面信息。 create_time String 媒资创建时间。 格式为yyyymmddhhmmss。必须是与时区无关的UTC时间。 asset_status String 媒资状态。 取值如下: CREATING:上传中。 FAILED:上传失败。 CREATED:上传成功。 PUBLISHED:已发布。 DELETED:已删除。 transcode_status String 转码状态。 取值如下: UN_TRANSCODE:未转码。 WAITING_TRANSCODE:待转码 TRANSCODING:转码中。 TRANSCODE_SUCCEED:转码成功。 TRANSCODE_FAILED:转码失败。 thumbnail_status String 截图状态。 取值如下: UN_THUMBNAIL:未截图。 THUMBNAILING:截图中。 THUMBNAIL_SUCCEED:截图成功。 THUMBNAIL_FAILED:截图失败。 review_status String 内容审核 状态 取值如下: UN_REVIEW:未审核。 REVIEWING:审核中。 REVIEW_SUSPICIOUS:审核可疑,需要人工复审。 REVIEW_PASSED:审核通过。 REVIEW_FAILED:审核失败。 REVIEW_BLOCKED:已屏蔽。 exec_desc String 媒资的任务执行描述汇总。 示例: asset_exec_desc: upload success,媒资任务执行描述信息。 transcode_exec_desc: transcode success,转码任务执行描述信息。 thumbnail_exec_desc: thumbnail failed,截图任务执行描述信息。 review_exec_desc: review pass,审核任务执行描述信息。 media_type String 音视频文件的格式。 取值如下: 视频文件格式:MP4、TS、MOV、MXF、MPG、FLV、WMV、AVI、M4V、F4V、MPEG、WEBM 音频文件格式:MP3、OGG、WAV、WMA、APE、FLAC、AAC、AC3、MMF、AMR、M4A、M4R、WV、MP2 表6 CoverInfo 参数 参数类型 描述 cover_url String 封面文件的下载地址。 状态码: 400 表7 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 错误描述。
  • URI GET /v1.0/{project_id}/asset/list 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参考获取项目ID 表2 Query参数 参数 是否必选 参数类型 描述 asset_id 否 Array of strings 媒资ID,最多同时查询10个。 status 否 Array of strings 媒资状态,同时查询多个状态的媒资。 取值如下: CREATING:上传中 FAILED:上传失败 CREATED:上传成功 PUBLISHED:已发布 TRANSCODING:转码中 TRANSCODE_SUCCEED:转码成功 TRANSCODE_FAILED:转码失败 THUMBNAILING:截图中 THUMBNAIL_SUCCEED:截图成功 THUMBNAIL_FAILED:截图失败 UN_REVIEW:未审核 REVIEWING:审核中 REVIEW_SUSPICIOUS :审核不过,待人工复审 REVIEW_PASSED:审核通过 REVIEW_FAILED:审核任务失败 REVIEW_BLOCKED:已屏蔽 start_time 否 String 起始时间。 格式为yyyymmddhhmmss。必须是与时区无关的UTC时间。 end_time 否 String 结束时间。 格式为yyyymmddhhmmss。必须是与时区无关的UTC时间。 category_id 否 Integer 分类ID。 tags 否 String 媒资标签。 单个标签不超过24个字节, 最多不超过16 个标签。 多个用英文逗号分隔,UTF8编码。 query_string 否 String 在媒资标题、 描述、分类名称中模糊查询的字符串。 media_type 否 Array of strings 音视频文件的格式,支持多格式查询,最多不超过20个。 取值如下: 视频文件格式:MP4、TS、MOV、MXF、MPG、FLV、WMV、AVI、M4V、F4V、MPEG、WEBM 音频文件格式:MP3、OGG、WAV、WMA、APE、FLAC、AAC、AC3、MMF、AMR、M4A、M4R、WV、MP2 page 否 Integer 分页编号。 默认值:0。 size 否 Integer 每页记录数。 取值范围:[1,100]。 默认值:10。
  • 响应示例 状态码: 200 处理成功返回。 { "total" : 0, "task_id" : "973", "task_status" : "SUCCEED", "assets" : [ ] } 状态码: 403 处理失败返回。 { "error_code" : "VOD.10053", "error_msg" : "The request parameter is illegal, illegal field: {xx}." }
  • 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 total Integer 总数。 task_id String 任务ID。 task_status String 任务状态。 assets Array of AssetDetails objects 媒资信息。 表5 AssetDetails 参数 参数类型 描述 asset_id String VOD分配的媒资ID,仅支持查询,不支持修改。 asset_status String 媒资状态。 "CREATING":上传中 "FAILED":上传失败 "CREATED":上传成功 "PUBLISHED":已发布 "DELETED":已删除 transcode_status String 转码状态。 "UN_TRANSCODE":未转码 "WAITING_TRANSCODE":等待转码,排队中 "TRANSCODING":转码中 "TRANSCODE_SUCCEED":转码成功 "TRANSCODE_FAILED":转码失败 base_info BaseInfo object 媒资基本信息。 transcode_info TranscodeInfo object 转码生成文件信息。 说明: 仅当转码成功后才能查询到此信息,未转码、正在转码以及转码失败时,无此字段信息。 表6 BaseInfo 参数 参数类型 描述 title String 媒资标题。 长度不超过128个字节,UTF8编码。 video_name String 媒资文件名。 description String 媒资描述。 长度不超过1024个字节。 category_id Long 媒资分类id。 category_name String 媒资分类名称。 create_time String 媒资创建时间。 格式为yyyymmddhhmmss。必须是与时区无关的UTC时间。 last_modified String 媒资最近修改时间。 格式为yyyymmddhhmmss。必须是与时区无关的UTC时间。 video_type String 音视频文件类型。 取值如下: 视频文件:MP4、TS、MOV、MXF、MPG、FLV、WMV、AVI、M4V、F4V、MPEG、3GP、ASF、MKV、WEBM 音频文件:MP3、OGG、WAV、WMA、APE、FLAC、AAC、AC3、MMF、AMR、M4A、M4R、WV、MP2 tags String 媒资标签。 单个标签不超过24个字节,最多不超过16个标签。 多个用逗号分隔,UTF8编码。 meta_data MetaData object 视频的元数据信息。 经过视频解析后产生,包括封装格式、大小、分辨率、码率、帧率。 video_url String 原始视频文件的访问地址。 sign_url String 原视频文件的OBS临时访问地址。仅调用查询指定媒资的详细信息接口时才返回具体值。 cover_info_array Array of CoverInfo objects 封面信息。 subtitle_info Array of SubtitleInfo objects 字幕信息数组 source_path File_addr object 媒资存储参数信息。查询接口,仅媒资为托管时有返回值。 output_path File_addr object 媒资存储参数信息。查询接口,仅媒资为托管时有返回值。 表7 CoverInfo 参数 参数类型 描述 cover_url String 封面文件的下载地址。 表8 SubtitleInfo 参数 参数类型 描述 url String 字幕文件的下载地址 id Integer 字幕文件id type String 字幕文件类型 language String 字幕文件语言种类 表9 File_addr 参数 参数类型 描述 bucket String OBS的bucket名称。 location String 桶所在的区域名, 如“华北-北京四”的区域名为“cn-north-4”,创建的桶所在区域必须和点播服务所在区域保持一致。 object String 文件的存储路径。 表10 TranscodeInfo 参数 参数类型 描述 template_group_name String 转码模板组名称。 output Array of Output objects 转码输出数组。 HLS或DASH格式:此数组的成员个数为n+1,n为转码输出路数。 MP4格式:此数组的成员个数为n,n为转码输出路数。 exec_desc String 执行情况描述。 transcode_status String 转码状态。 取值如下: UN_TRANSCODE:未转码 WAITING_TRANSCODE:待转码 TRANSCODING:转码中 TRANSCODE_SUCCEED:转码成功 TRANSCODE_FAILED:转码失败 表11 Output 参数 参数类型 描述 play_type String 协议类型。 取值如下: hls dash mp4 url String 播放URL。 group_id String 所属转码组Id group_name String 所属转码组名称 encrypted Integer 标记流是否已被加密。 取值如下: 0:表示未加密。 1:表示已被加密。 quality String 清晰度。 取值如下: FLUENT:流畅 SD:标清 HD:高清 FULL_HD:超清 meta_data MetaData object 视频的元数据信息。 经过视频解析后产生,包括封装格式、大小、分辨率、码率、帧率。 表12 MetaData 参数 参数类型 描述 pack_type String 视频封装格式。 取值如下: MP4 TS MOV MXF MPG FLV WMV MP3 WMA APE FLAC AAC AC3 MMF AMR M4A M4R OGG WAV WV MP2 AVI F4V M4V MPEG HLS DASH codec String 视频编码格式。 取值如下: MPEG-2 MPEG-4 H.264 H.265 WMV Vorbis AAC AC-3 AMR APE FLAC MP3 MP2 WMA PCM ADPCM WavPack 说明: 如果codec返回unknown,说明不支持解析用户当前发送的音视频编码格式。 duration Long 视频时长。 若视频的原时长为非整数,则该字段值为原时长的向上取整。 video_size Long 视频文件大小。 单位:字节。 width Long 视频宽度(单位:像素)。 编码为H.264的取值范围:[32,3840]之间2的倍数。 编码为H.265的取值范围:[320,3840]之间4的倍数。 hight Long 视频高度(单位:像素)。 编码为H.264的取值范围:[32,2160]之间2的倍数 。 编码为H.265的取值范围:[240,2160]之间4的倍数。 height Long 视频高度(单位:像素) bit_rate Long 视频平均码率。 frame_rate Long 帧率(单位:帧每秒)。 取值如下: F RAM ERATE_AUTO = 1, FRAMERATE_10 = 2, FRAMERATE_15 = 3, FRAMERATE_2397 = 4, // 23.97 fps FRAMERATE_24 = 5, FRAMERATE_25 = 6, FRAMERATE_2997 = 7, // 29.97 fps FRAMERATE_30 = 8, FRAMERATE_50 = 9, FRAMERATE_60 = 10 默认值:1。 单位:帧每秒。 quality String 清晰度。 取值如下: FULL_HD:超高清 HD:高清 SD:标清 FLUENT:流畅 AD:自适应 2K 4K audio_channels Integer 音频的声道数。 状态码: 403 表13 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 错误描述。
  • URI GET /v1.0/{project_id}/asset/obs/host/stock/task/details 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参考获取项目ID 表2 Query参数 参数 是否必选 参数类型 描述 task_id 是 String 任务ID。 page 否 Integer 分页编号,默认为0。 size 否 Integer 每页记录数。 默认10,范围[1,100]
  • 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 否 String 用户Token,使用Token鉴权方式时必选。 通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 Authorization 否 String 使用AK/SK方式认证时必选,携带的鉴权信息。 X-Sdk-Date 否 String 使用AK/SK方式认证时必选,请求的发生时间。
  • 整库迁移支持的数据源类型 整库迁移适用于将本地数据中心或在E CS 上自建的数据库,同步到云上的数据库服务或大数据服务中,适用于数据库离线迁移场景,不适用于在线实时迁移。 数据集成支持整库迁移的数据源如表2所示。 表2 整库迁移支持的数据源 数据源分类 数据源 读取 写入 说明 数据仓库 数据仓库服务(DWS) 支持 支持 - Hadoop (仅支持本地存储,不支持存算分离场景,不支持Ranger场景,不支持ZK开启SSL场景) MRS HBase 支持 支持 整库迁移仅支持导出到MRS HBase。 建议使用的版本: 2.1.X 1.3.X 当前暂不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的MRS集群。如需对接MRS集群,请注意“Kerberos加密类型”应为“aes256-sha1,aes128-sha1”。 MRS Hive 支持 支持 整库迁移仅支持导出到关系型数据库。 暂不支持2.x版本,建议使用的版本: 1.2.X 3.1.X 当前暂不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的MRS集群。如需对接MRS集群,请注意“Kerberos加密类型”应为“aes256-sha1,aes128-sha1”。 FusionInsight HBase 支持 不支持 建议使用的版本: 2.1.X 1.3.X FusionInsight Hive 支持 不支持 整库迁移仅支持导出到关系型数据库。 暂不支持2.x版本,建议使用的版本: 1.2.X 3.1.X Apache HBase 支持 不支持 建议使用的版本: 2.1.X 1.3.X Apache Hive 支持 不支持 整库迁移仅支持导出到关系型数据库。 暂不支持2.x版本,建议使用的版本: 1.2.X 3.1.X MRS Hudi 支持 支持 支持本地存储、存算分离场景。 暂不支持2.x版本,建议使用的版本: 1.2.X 3.1.X 当前暂不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的MRS集群。如需对接MRS集群,请注意“Kerberos加密类型”应为“aes256-sha1,aes128-sha1”。 关系数据库 云数据库 MySQL 支持 支持 不支持OLTP到OLTP迁移,此场景推荐通过 数据复制服务 DRS进行迁移。 云数据库 PostgreSQL 支持 支持 云数据库 SQL Server 支持 支持 MySQL 支持 不支持 PostgreSQL 支持 不支持 Microsoft SQL Server 支持 不支持 Oracle 支持 不支持 SAP HANA 支持 不支持 仅支持2.00.050.00.1592305219版本。 仅支持Generic Edition。 不支持BW/4 FOR HANA。 仅支持英文字母的数据库名、表名与列名,不支持存在空格、符号等特殊字符。 仅支持日期、数字、布尔、字符(除SHORTTEXT) 类型的数据类型,不支持二进制类型等其他数据类型。 迁移时不支持目的端自动建表。 达梦数据库 DM 支持 不支持 仅支持导出到DWS、Hive NoSQL 分布式缓存服务(DCS) 不支持 支持 仅支持MRS到DCS迁移。 文档数据库服务(DDS) 支持 支持 仅支持DDS和MRS之间迁移。 表格存储服务 (CloudTable) 支持 支持 -
  • 表/文件迁移支持的数据源类型 表/文件迁移可以实现表或文件级别的数据迁移。 表/文件迁移时支持的数据源如表1所示。 表1 表/文件迁移支持的数据源 数据源分类 源端数据源 对应的目的端数据源 说明 数据仓库 数据仓库服务(DWS) 数据仓库:数据仓库服务(DWS), 数据湖探索 DLI ),MRS ClickHouse Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储: 对象存储服务 (OBS) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server,MySQL,PostgreSQL,Microsoft SQL Server,Oracle NoSQL: 表格存储 服务(CloudTable) 搜索:Elasticsearch, 云搜索服务 CSS ) 不支持DWS物理机纳管模式。 数据湖 探索(DLI) 数据仓库:数据仓库服务(DWS),数据湖探索(DLI),MRS ClickHouse Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server,MySQL,PostgreSQL,Microsoft SQL Server,Oracle NoSQL:表格存储服务(CloudTable),MongoDB 搜索:Elasticsearch, 云搜索 服务(CSS) MongoDB建议使用的版本:4.2。 MRS ClickHouse 数据仓库:MRS ClickHouse,数据湖探索(DLI) MRS ClickHouse建议使用的版本:21.3.4.X。 当前暂不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的MRS集群。如需对接MRS集群,请注意“Kerberos加密类型”应为“aes256-sha1,aes128-sha1”。 Hadoop MRS HDFS 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server,MySQL,PostgreSQL,Microsoft SQL Server,Oracle NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) 支持本地存储,仅MRS Hive、MRS Hudi支持存算分离场景。 仅MRS Hive支持Ranger场景。 不支持ZK开启SSL场景。 MRS HDFS建议使用的版本: 2.8.X 3.1.X MRS HBase建议使用的版本: 2.1.X 1.3.X MRS Hive、MRS Hudi暂不支持2.x版本,建议使用的版本: 1.2.X 3.1.X 当前暂不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的MRS集群。如需对接MRS集群,请注意“Kerberos加密类型”应为“aes256-sha1,aes128-sha1”。 MRS HBase MRS Hive 数据仓库:数据仓库服务(DWS),数据湖探索(DLI),MRS Clickhouse Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server,MySQL,PostgreSQL,Microsoft SQL Server,Oracle NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) MRS Hudi 数据仓库:数据仓库服务(DWS) Hadoop:MRS HBase FusionInsight HDFS 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) FusionInsight数据源不支持作为目的端。 仅支持本地存储,不支持存算分离场景。 不支持Ranger场景。 不支持ZK开启SSL场景。 FusionInsight HDFS建议使用的版本: 2.8.X 3.1.X FusionInsight HBase建议使用的版本: 2.1.X 1.3.X FusionInsight Hive建议使用的版本: 1.2.X 3.1.X FusionInsight HBase FusionInsight Hive Apache HBase 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) Apache数据源不支持作为目的端。 仅支持本地存储,不支持存算分离场景。 不支持Ranger场景。 不支持ZK开启SSL场景。 Apache HBase建议使用的版本: 2.1.X 1.3.X Apache Hive暂不支持2.x版本,建议使用的版本: 1.2.X 3.1.X Apache HDFS建议使用的版本: 2.8.X 3.1.X Apache Hive Apache HDFS 对象存储 对象存储服务(OBS) 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) 对象存储服务之间的迁移,推荐使用 对象存储迁移 服务 OMS 。 不支持二进制文件导入到数据库或NoSQL。 文件系统 FTP 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) 对象存储:对象存储服务(OBS) 文件系统不支持作为目的端。 FTP/SFTP到搜索的迁移仅支持如CSV等文本文件,不支持二进制文件。 FTP/SFTP到OBS的迁移仅支持二进制文件。 HTTP到OBS的迁移推荐使用obsutil工具,请参见obsutil简介。 SFTP HTTP Hadoop:MRS HDFS 关系型数据库 云数据库 MySQL 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive,MRS Hudi 对象存储:对象存储服务(OBS) NoSQL:表格存储服务(CloudTable) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server 搜索:Elasticsearch,云搜索服务(CSS) Microsoft SQL Server建议使用的版本:2005以上。 金仓和 GaussDB 数据源可通过PostgreSQL连接器进行连接,支持的迁移作业的源端、目的端情况与PostgreSQL数据源一致。 云数据库 SQL Server 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) NoSQL:表格存储服务(CloudTable) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server 搜索:Elasticsearch,云搜索服务(CSS) 云数据库 PostgreSQL MySQL 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive,MRS Hudi 对象存储:对象存储服务(OBS) NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) PostgreSQL Oracle Microsoft SQL Server 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) SAP HANA 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS Hive SAP HANA数据源存在如下约束: SAP HANA不支持作为目的端。 仅支持2.00.050.00.1592305219版本。 仅支持Generic Edition。 不支持BW/4 FOR HANA。 仅支持英文字母的数据库名、表名与列名,不支持存在空格、符号等特殊字符。 仅支持日期、数字、布尔、字符(除SHORTTEXT) 类型的数据类型,不支持二进制类型等其他数据类型。 迁移时不支持目的端自动建表。 分库 数据仓库:数据湖探索(DLI) Hadoop:MRS HBase,MRS Hive 搜索:Elasticsearch,云搜索服务(CSS) 对象存储:对象存储服务(OBS) 分库数据源不支持作为目的端。 神通(ST) Hadoop:MRS Hive,MRS Hudi - NoSQL 分布式缓存服务(DCS) Hadoop:MRS HDFS,MRS HBase,MRS Hive 除了表格存储服务(CloudTable)外,其他NoSQL数据源不支持作为目的端。 Redis到DCS的迁移,可以通过其他方式进行,请参见自建Redis迁移至DCS。 Redis 文档数据库服务(DDS) MongoDB 表格存储服务(CloudTable HBase) 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server,MySQL,PostgreSQL,Microsoft SQL Server,Oracle NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) Cassandra 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) 消息系统 数据接入服务 (DIS) 搜索:云搜索服务(CSS) 消息系统不支持作为目的端。 Apache Kafka DMS Kafka MRS Kafka 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) MRS Kafka不支持作为目的端。 仅支持本地存储,不支持存算分离场景。 不支持Ranger场景。 不支持ZK开启SSL场景。 当前暂不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的MRS集群。如需对接MRS集群,请注意“Kerberos加密类型”应为“aes256-sha1,aes128-sha1”。 搜索 Elasticsearch 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) Elasticsearch仅支持非安全模式。 云搜索服务(CSS) 导入数据到CSS推荐使用Logstash,请参见使用Logstash导入数据到Elasticsearch。 上表中非云服务的数据源,例如MySQL,既可以支持用户本地数据中心自建的MySQL,也可以是用户在ECS上自建的MySQL,还可以是第三方云的MySQL服务。
  • Apache Kafka Apache Kafka连接适用于用户在本地数据中心或ECS上自建的第三方Kafka,其中本地数据中心的Kafka需通过专线连接。 连接Apache Hadoop上的Kafka数据源时,相关参数如表2所示。 表2 Apache Kafka连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 kafka_link Kafka broker Kafka broker的IP地址和端口。 192.168.1.1:9092 单击“显示高级属性”,然后单击“添加”,您可以添加客户端的配置属性。所添加的每个属性需配置属性名称和值。对于不再需要的属性,可单击属性后的“删除”按钮进行删除。
  • MRS Kafka 连接MRS上的Kafka数据源时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 MRS Kafka连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 kafka_link Manager IP MRS Manager的浮动IP地址,可以单击输入框后的“选择”来选定已创建的MRS集群, CDM 会自动填充下面的鉴权参数。 说明: 当前 DataArts Studio 不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的MRS集群。如需对接MRS集群,请注意“Kerberos加密类型”应为“aes256-sha1,aes128-sha1”。 127.0.0.1 用户名 需要配置MRS Manager的用户名和密码。 如果要创建MRS安全集群的数据连接,不能使用admin用户。因为admin用户是默认的管理页面用户,这个用户无法作为安全集群的认证用户来使用。您可以创建一个新的MRS用户,然后在创建MRS数据连接时,“用户名”和“密码”填写为新建的MRS用户及其密码。 说明: 如果CDM集群为2.9.0版本及之后版本,且MRS集群为3.1.0及之后版本,则所创建的用户至少需具备Manager_viewer的角色权限才能在CDM创建连接;如果需要对MRS组件的库、表、列进行操作,还需要参考MRS文档添加对应组件的库、表、列操作权限。 如果CDM集群为2.9.0之前的版本,或MRS集群为3.1.0之前的版本,则所创建的用户需要具备Manager_administrator或System_administrator权限,才能在CDM创建连接。 仅具备Manager_tenant或Manager_auditor权限,无法创建连接。 - 密码 访问MRS Manager的用户密码。 - 认证类型 访问MRS的认证类型: SIMPLE:非安全模式选择Simple鉴权。 KERBEROS:安全模式选择Kerberos鉴权。 是 单击“显示高级属性”,然后单击“添加”,您可以添加客户端的配置属性。所添加的每个属性需配置属性名称和值。对于不再需要的属性,可单击属性后的“删除”按钮进行删除。
  • PostgreSQL/SQLServer连接参数说明 连接PostgreSQL/SQLServer时,相关参数如表1所示,金仓和GaussDB数据源可通过PostgreSQL连接器进行连接,支持的迁移作业的源端、目的端情况与PostgreSQL数据源一致。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 PostgreSQL/SQLServer连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 sql_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 不同的数据库端口不同,请根据具体情况配置。例如: SQLServer默认端口:1433 PostgreSQL默认端口:5432 数据库名称 配置为要连接的数据库名称。 dbname 用户名 待连接数据库的用户。该数据库用户需要有数据表的读写权限,以及对元数据的读取权限。 cdm 密码 用户名密码。 - 使用Agent Agent功能待下线,无需配置。 - Agent Agent功能待下线,无需配置。 - 驱动类名 根据上传驱动选择对应驱动类名。 当前支持postgresql和kingbase8两种驱动类名。 - 引用符号 可选参数,连接引用表名或列名时的分隔符号,参考对应数据库的产品文档进行配置。 " 驱动版本 不同类型的关系数据库,需要适配不同的驱动,更多详情请参见如何获取驱动。 - 单次请求行数 可选参数,单击“显示高级属性”后显示。 指定每次请求获取的行数,根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 1000 单次提交行数 可选参数,单击“显示高级属性”后显示。 指定每次批量提交的行数,根据数据目的端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 10000 SSL加密 可选参数,控制是否通过SSL加密方式连接数据库。 是 连接属性 可选参数,单击“添加”可增加多个指定数据源的JDBC连接器的属性,参考对应数据库的JDBC连接器说明文档进行配置。 常见配置举例如下: connectTimeout=60与socketTimeout=300:迁移数据量较大、或通过查询语句检索全表时,会由于连接超时导致迁移失败。此时可自定义连接超时时间与socket超时时间(单位s),避免超时导致失败。 useCursorFetch=false:CDM作业默认打开了JDBC连接器与关系型数据库通信使用二进制协议开关,即useCursorFetch=true。部分第三方可能存在兼容问题导致迁移时间转换出错,可以关闭此开关。 trustServerCertificate=true:在创建安全连接的时候可能会报PKIX错误,建议设置为true。 sslmode=require 连接私密属性 可选参数,单击“显示高级属性”后显示。 自定义私密连接属性。 sk=09fUgD5WOF1L6f 父主题: 配置连接参数
  • FTP/SFTP连接参数说明 FTP/SFTP连接适用于从线下文件服务器或ECS服务器上迁移文件到数据库。 当前仅支持Linux操作系统的FTP 服务器。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 连接FTP或SFTP服务器时,连接参数相同,如表1所示。 表1 FTP/SFTP连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 ftp_link 主机名或IP FTP或SFTP服务器的IP地址或者主机名。 ftp.apache.org 端口 FTP或SFTP服务器的端口,FTP默认值为21;SFTP默认值为22。 21 用户名 登录FTP或SFTP服务器的用户名。 cdm 密码 登录FTP或SFTP服务器的密码。 - FTP文件名编码 FTP时显示该参数。 ftp-client的controlEncoding文件名编码配置,默认为ISO-8859-1,目前支持ISO-8859-1/UFT8。 ISO-8859-1 父主题: 配置连接参数
  • 整库迁移支持的数据源类型 整库迁移适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或大数据服务中,适用于数据库离线迁移场景,不适用于在线实时迁移。 数据集成支持整库迁移的数据源如表2所示。 表2 整库迁移支持的数据源 数据源分类 数据源 读取 写入 说明 数据仓库 数据仓库服务(DWS) 支持 支持 - Hadoop (仅支持本地存储,不支持存算分离场景,不支持Ranger场景,不支持ZK开启SSL场景) MRS HBase 支持 支持 整库迁移仅支持导出到MRS HBase。 建议使用的版本: 2.1.X 1.3.X 当前暂不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的MRS集群。如需对接MRS集群,请注意“Kerberos加密类型”应为“aes256-sha1,aes128-sha1”。 MRS Hive 支持 支持 整库迁移仅支持导出到关系型数据库。 暂不支持2.x版本,建议使用的版本: 1.2.X 3.1.X 当前暂不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的MRS集群。如需对接MRS集群,请注意“Kerberos加密类型”应为“aes256-sha1,aes128-sha1”。 Apache HBase 支持 不支持 建议使用的版本: 2.1.X 1.3.X Apache Hive 支持 不支持 整库迁移仅支持导出到关系型数据库。 暂不支持2.x版本,建议使用的版本: 1.2.X 3.1.X MRS Hudi 支持 支持 支持本地存储、存算分离场景。 暂不支持2.x版本,建议使用的版本: 1.2.X 3.1.X 当前暂不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的MRS集群。如需对接MRS集群,请注意“Kerberos加密类型”应为“aes256-sha1,aes128-sha1”。 关系数据库 云数据库 MySQL 支持 支持 不支持OLTP到OLTP迁移,此场景推荐通过数据复制服务DRS进行迁移。 云数据库 PostgreSQL 支持 支持 云数据库 SQL Server 支持 支持 MySQL 支持 不支持 PostgreSQL 支持 不支持 Microsoft SQL Server 支持 不支持 Oracle 支持 不支持 NoSQL 分布式缓存服务(DCS) 不支持 支持 仅支持MRS到DCS迁移。 公测中 表格存储服务(CloudTable) 支持 支持 - FusionInsight HBase 支持 不支持 建议使用的版本: 2.1.X 1.3.X FusionInsight Hive 支持 不支持 整库迁移仅支持导出到关系型数据库。 暂不支持2.x版本,建议使用的版本: 1.2.X 3.1.X SAP HANA 支持 不支持 仅支持2.00.050.00.1592305219版本。 仅支持Generic Edition。 不支持BW/4 FOR HANA。 仅支持英文字母的数据库名、表名与列名,不支持存在空格、符号等特殊字符。 仅支持日期、数字、布尔、字符(除SHORTTEXT) 类型的数据类型,不支持二进制类型等其他数据类型。 迁移时不支持目的端自动建表。 达梦数据库 DM 支持 不支持 仅支持导出到DWS、Hive 文档数据库服务(DDS) 支持 支持 仅支持DDS和MRS之间迁移。
  • 表/文件迁移支持的数据源类型 表/文件迁移可以实现表或文件级别的数据迁移。 表/文件迁移时支持的数据源如表1所示。 表1 表/文件迁移支持的数据源 数据源分类 源端数据源 对应的目的端数据源 说明 数据仓库 数据仓库服务(DWS) 数据仓库:数据仓库服务(DWS),数据湖探索(DLI),MRS ClickHouse,Doris Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server,MySQL,PostgreSQL,Microsoft SQL Server,Oracle 搜索:Elasticsearch 公测中:云搜索服务(CSS),表格存储服务(CloudTable) 不支持DWS物理机纳管模式。 数据湖探索(DLI) 数据仓库:数据仓库服务(DWS),数据湖探索(DLI),MRS ClickHouse,Doris Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server,MySQL,PostgreSQL,Microsoft SQL Server,Oracle NoSQL:MongoDB 搜索:Elasticsearch 公测中:云搜索服务(CSS),表格存储服务(CloudTable) MongoDB建议使用的版本:4.2。 MRS ClickHouse 数据仓库:MRS ClickHouse,数据湖探索(DLI) MRS ClickHouse建议使用的版本:21.3.4.X。 当前暂不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的MRS集群。如需对接MRS集群,请注意“Kerberos加密类型”应为“aes256-sha1,aes128-sha1”。 Doris 数据仓库:Doris 当前暂不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的MRS集群。如需对接MRS集群,请注意“Kerberos加密类型”应为“aes256-sha1,aes128-sha1”。 Hadoop MRS HDFS 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server,MySQL,PostgreSQL,Microsoft SQL Server,Oracle 搜索:Elasticsearch 公测中:云搜索服务(CSS),表格存储服务(CloudTable) 支持本地存储,仅MRS Hive、MRS Hudi支持存算分离场景。 仅MRS Hive支持Ranger场景。 不支持ZK开启SSL场景。 MRS HDFS建议使用的版本: 2.8.X 3.1.X MRS HBase建议使用的版本: 2.1.X 1.3.X MRS Hive、MRS Hudi暂不支持2.x版本,建议使用的版本: 1.2.X 3.1.X 当前暂不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的MRS集群。如需对接MRS集群,请注意“Kerberos加密类型”应为“aes256-sha1,aes128-sha1”。 MRS HBase MRS Hive 数据仓库:数据仓库服务(DWS),数据湖探索(DLI),MRS Clickhouse、Doris Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server,MySQL,PostgreSQL,Microsoft SQL Server,Oracle 搜索:Elasticsearch 公测中:云搜索服务(CSS),表格存储服务(CloudTable),SAP HANA MRS Hudi 数据仓库:数据仓库服务(DWS) Hadoop:MRS HBase Apache HBase 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) 搜索:Elasticsearch 公测中:云搜索服务(CSS),表格存储服务(CloudTable) Apache数据源不支持作为目的端。 仅支持本地存储,不支持存算分离场景。 不支持Ranger场景。 不支持ZK开启SSL场景。 Apache HBase建议使用的版本: 2.1.X 1.3.X Apache Hive暂不支持2.x版本,建议使用的版本: 1.2.X 3.1.X Apache HDFS建议使用的版本: 2.8.X 3.1.X Apache Hive Apache HDFS 对象存储 对象存储服务(OBS) 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 搜索:Elasticsearch 公测中:云搜索服务(CSS),表格存储服务(CloudTable) 对象存储服务之间的迁移,推荐使用对象存储迁移服务OMS。 不支持二进制文件导入到数据库或NoSQL。 文件系统 FTP 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 搜索:Elasticsearch 对象存储:对象存储服务(OBS) 公测中:云搜索服务(CSS),表格存储服务(CloudTable) 文件系统不支持作为目的端。 FTP/SFTP到搜索的迁移仅支持如CSV等文本文件,不支持二进制文件。 FTP/SFTP到OBS的迁移仅支持二进制文件。 HTTP到OBS的迁移推荐使用obsutil工具,请参见obsutil简介。 SFTP HTTP Hadoop:MRS HDFS 关系型数据库 云数据库 MySQL 数据仓库:数据仓库服务(DWS),数据湖探索(DLI),Doris Hadoop:MRS HDFS,MRS HBase,MRS Hive,MRS Hudi 对象存储:对象存储服务(OBS) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server 搜索:Elasticsearch 公测中:云搜索服务(CSS),表格存储服务(CloudTable),SAP HANA OLTP数据库之间的迁移推荐通过数据复制服务DRS进行迁移。 Microsoft SQL Server建议使用的版本:2005以上。 金仓和GaussDB数据源可通过PostgreSQL连接器进行连接,支持的迁移作业的源端、目的端情况与PostgreSQL数据源一致。 云数据库 SQL Server 数据仓库:数据仓库服务(DWS) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server 搜索:Elasticsearch 公测中:云搜索服务(CSS),表格存储服务(CloudTable) 云数据库 PostgreSQL MySQL 数据仓库:数据仓库服务(DWS) Hadoop:MRS HDFS,MRS HBase,MRS Hive,MRS Hudi 对象存储:对象存储服务(OBS) 搜索:Elasticsearch 公测中:云搜索服务(CSS),表格存储服务(CloudTable) PostgreSQL Oracle Microsoft SQL Server 数据仓库:数据仓库服务(DWS) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) 搜索:Elasticsearch 公测中:云搜索服务(CSS),表格存储服务(CloudTable) NoSQL 分布式缓存服务(DCS) Hadoop:MRS HDFS,MRS HBase,MRS Hive NoSQL数据源不支持作为目的端。 Redis到DCS的迁移,可以通过其他方式进行,请参见自建Redis迁移至DCS。 Redis MongoDB 消息系统 数据接入服务(DIS) 公测中:云搜索服务(CSS) 消息系统不支持作为目的端。 Apache Kafka DMS Kafka MRS Kafka 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server 搜索:Elasticsearch, 公测中:表格存储服务(CloudTable),云搜索服务(CSS) MRS Kafka不支持作为目的端。 仅支持本地存储,不支持存算分离场景。 不支持Ranger场景。 不支持ZK开启SSL场景。 当前暂不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的MRS集群。如需对接MRS集群,请注意“Kerberos加密类型”应为“aes256-sha1,aes128-sha1”。 搜索 Elasticsearch 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server 搜索:Elasticsearch 公测中:表格存储服务(CloudTable),云搜索服务(CSS) Elasticsearch仅支持非安全模式。 公测中 表格存储服务(CloudTable HBase) 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server,MySQL,PostgreSQL,Microsoft SQL Server,Oracle 搜索:Elasticsearch 公测中:表格存储服务(CloudTable),云搜索服务(CSS) - 云搜索服务(CSS) 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server 搜索:Elasticsearch 公测中:表格存储服务(CloudTable),云搜索服务(CSS) 导入数据到CSS推荐使用Logstash,请参见使用Logstash导入数据到Elasticsearch。 SAP HANA 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS Hive SAP HANA数据源存在如下约束: SAP HANA不支持作为目的端。 仅支持2.00.050.00.1592305219版本。 仅支持Generic Edition。 不支持BW/4 FOR HANA。 仅支持英文字母的数据库名、表名与列名,不支持存在空格、符号等特殊字符。 仅支持日期、数字、布尔、字符(除SHORTTEXT) 类型的数据类型,不支持二进制类型等其他数据类型。 迁移时不支持目的端自动建表。 FusionInsight HDFS 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) 搜索:Elasticsearch 公测中:云搜索服务(CSS),表格存储服务(CloudTable) FusionInsight数据源不支持作为目的端。 仅支持本地存储,不支持存算分离场景。 不支持Ranger场景。 不支持ZK开启SSL场景。 FusionInsight HDFS建议使用的版本: 2.8.X 3.1.X FusionInsight HBase建议使用的版本: 2.1.X 1.3.X FusionInsight Hive建议使用的版本: 1.2.X 3.1.X FusionInsight HBase FusionInsight Hive 分库 分库数据仓库:数据湖探索(DLI) Hadoop:MRS HBase,MRS Hive 搜索:Elasticsearch 对象存储:对象存储服务(OBS) 公测中:云搜索服务(CSS) 分库数据源不支持作为目的端。 达梦数据库 DM 数据仓库:数据仓库服务(DWS) Hadoop:MRS Hive,MRS Hudi - 神通(ST) Hadoop:MRS Hive,MRS Hudi - 文档数据库服务(DDS) Hadoop:MRS HDFS,MRS HBase,MRS Hive - Cassandra 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) 搜索:Elasticsearch 公测中:云搜索服务(CSS),表格存储服务(CloudTable) - GBASE8S Hadoop:MRS HDFS,MRS HBase 消息系统:MRS Kafka - GBASE8A Hadoop:MRS HDFS,MRS Hive,MRS HBase 消息系统:MRS Kafka - 上表中非云服务的数据源,例如MySQL,既可以支持用户本地数据中心自建的MySQL,也可以是用户在ECS上自建的MySQL,还可以是第三方云的MySQL服务。
  • 云数据库MySQL /MySQL数据库连接参数说明 连接MySQL数据库连接时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 MySQL数据库连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 mysql_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的MySQL数据库实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 3306 数据库名称 配置为要连接的数据库名称。 dbname 用户名 待连接数据库的用户。该数据库用户需要有数据表的读写权限,以及对元数据的读取权限。 cdm 密码 用户名密码。 - 使用本地API 可选参数,选择是否使用数据库本地API加速。 创建MySQL连接时,CDM会自动尝试启用MySQL数据库的local_infile系统变量,开启MySQL的LOAD DATA功能加快数据导入,提高导入数据到MySQL数据库的性能。注意,开启本参数后,日期类型将不符合格式的会存储为0000-00-00,更多详细信息可在MySQL官网文档查看。 如果CDM自动启用失败,请联系数据库管理员启用local_infile参数或选择不使用本地API加速。 如果是导入到RDS上的MySQL数据库,由于RDS上的MySQL默认没有开启LOAD DATA功能,所以同时需要修改MySQ L实例 的参数组,将“local_infile”设置为“ON”,开启该功能。 说明: 如果RDS上的“local_infile”参数组不可编辑,则说明是默认参数组,需要先创建一个新的参数组,再修改该参数值,并应用到RDS的MySQL实例上,具体操作请参见《关系型数据库用户指南》。 是 使用Agent Agent功能待下线,无需配置。 - Agent Agent功能待下线,无需配置。 - local_infile字符集 MySQL通过local_infile导入数据时,可配置编码格式。 utf8 驱动版本 不同类型的关系数据库,需要适配不同的驱动。 - 单次请求行数 可选参数,单击“显示高级属性”后显示。 指定每次请求获取的行数,根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 1000 单次提交行数 可选参数,单击“显示高级属性”后显示。 指定每次批量提交的行数,根据数据目的端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 10000 SSL加密 可选参数,控制是否通过SSL加密方式连接数据库,创建云数据MySQL连接时显示该参数。 是 连接属性 可选参数,单击“添加”可增加多个指定数据源的JDBC连接器的属性,参考对应数据库的JDBC连接器说明文档进行配置。 常见配置举例如下: connectTimeout=600000与socketTimeout=300000:迁移数据量较大、或通过查询语句检索全表时,会由于连接超时导致迁移失败。此时可自定义连接超时时间与socket超时时间(单位ms),避免超时导致失败。 tinyInt1isBit=false或mysql.bool.type.transform=false:MySQL默认开启配置tinyInt1isBit=true,将TINYINT(1)当作BIT也就是Types.BOOLEAN来处理,会将1或0读取为true或false从而导致迁移失败,此时可关闭配置避免迁移报错。 useCursorFetch=false:CDM作业默认打开了JDBC连接器与关系型数据库通信使用二进制协议开关,即useCursorFetch=true。部分第三方可能存在兼容问题导致迁移时间转换出错,可以关闭此开关;开源MySQL数据库支持useCursorFetch参数,无需对此参数进行设置。 allowPublicKeyRetrieval=true:MySQL默认关闭允许公钥检索机制,因此连接MySQL数据源时,如果TLS不可用、使用RSA公钥加密时,可能导致连接报错。此时可打开公钥检索机制,避免连接报错。 useSSL=false:CDM集群版本为2.10.0.300且MySQL版本为mysql5.7.43以上时,可以通过添加连接属性useSSL=false打开SSL加密开关。 sslmode=require 引用符号 可选参数,连接引用表名或列名时的分隔符号,参考对应数据库的产品文档进行配置。 ` 单次写入行数 指定单次批量写入的行数,当写入行数累计到单次批量提交行数时提交一次,该值应当小于单次提交行数。 100 父主题: 配置连接参数
共100000条