华为云用户手册

  • 命令结构 Windows操作系统 obsutil ls obs://bucket[/prefix] [-s] [-d] -m [-a] [-uploadIdMarker=xxx] [-marker=xxx] [-limit=1] [-format=default] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] macOS/Linux操作系统 ./obsutil ls obs://bucket[/prefix] [-s] [-d] -m [-a] [-uploadIdMarker=xxx] [-marker=xxx] [-limit=1] [-format=default] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx]
  • 运行示例 以Windows操作系统为例,运行obsutil ls obs://bucket-test -m -limit=10,查询桶内分段上传任务。 obsutil ls obs://bucket-test -m -limit=10 Listing multipart uploads. Upload list: Key Initiated StorageClass UploadId obs://bucket-test/aaa 2018-11-27T03:49:07Z standard 000001675348ED21860C3F61EF955BD3 obs://bucket-test/dir1/10GB.txt 2018-11-07T06:58:09Z standard 00000166ECF6CF7C860D1DBAF3F76013 obs://bucket-test/dir1/1GB.txt 2018-11-07T06:58:09Z standard 00000166ECF6CF6F860B7FBE95D01B03 obs://bucket-test/dir1/50GB.txt 2018-11-07T06:58:09Z standard 00000166ECF6CF86860D1DC2C8E8F66B obs://bucket-test/dir1/5GB.txt 2018-11-07T06:58:09Z standard 00000166ECF6CF75860CDA7780CB52C3 obs://bucket-test/test11/20GB.txt 2018-11-27T08:21:26Z standard 0000016754423D24860CA8A4D06C2054 Folder number: 0 Upload number: 6 更多运行示例,请参见列举分段上传任务示例。
  • 参数说明 参数 约束 描述 bucket 必选 桶名。 prefix 可选 列举分段上传任务时的对象名前缀。 说明: 如果为空,则表示列举桶内所有分段上传任务。 s 附加参数,可选 以精简格式显示查询结果。 说明: 在精简格式下,返回结果只包含分段上传任务对象名和UploadId。 d 附加参数,可选 仅列举当前目录下的分段上传任务和子目录,而非递归列举所有分段上传任务和子目录。 m 附加参数,必选 列举桶内分段上传任务。 a 附加参数,可选 同时列举桶内对象和桶内分段上传任务。 marker 附加参数,可选 列举桶内分段上传任务的起始位置,返回结果是分段上传任务对象名按照字典序排序后该参数以后的所有分段上传任务。 说明: 请参考列举分段上传任务示例理解该参数的使用方式。 uploadIdMarker 附加参数,可选 列举桶内分段上传任务的起始位置,必须与marker配合使用。返回结果是对象名和UploadId按照字典序排序后该参数以后的所有分段上传任务。 limit 附加参数,可选 列举结果的最大个数,小于等于0表示列举所有结果。 说明: 如果桶内分段上传任务较多,建议设置该值限制每次列举的分段上传任务个数,列举结束后,如果仍有分段上传任务,会在结果中返回下次请求的marker和uploadIdMarker,用于继续列举剩余的分段上传任务。 format 附加参数,可选 指定以自定义格式打印列举结果。当前仅支持值[default],指定列举结果在一行显示。 config 附加参数,可选 运行当前命令时的自定义配置文件,可支持的配置参数请参考配置参数说明。 e 附加参数,可选 指定终端节点。 i 附加参数,可选 指定用户的AK。 k 附加参数,可选 指定用户的SK。 t 附加参数,可选 指定用户的securitytoken。
  • 响应结果 字段名 描述 Parallel 请求中的-p参数。 Jobs 请求中的-j参数。 Threshold 请求中的-threshold参数。 PartSize 请求中的-ps参数。 Exclude 请求中的-exclude参数。 Include 请求中的-include参数。 TimeRange 请求中的-timeRange参数。 VerifyLength 请求中的-vlength参数。 VerifyMd5 请求中的-vmd5参数。 CheckpointDir 请求中的-cpd参数。 OutputDir 请求中的-o参数。 ArcDir 请求中的-arcDir参数。 Succeed count 成功的任务数。 Failed count 失败的任务数。 Skip count 增量上传/下载/复制、同步上传/下载/复制跳过的任务数。 说明: 跳过的任务数也会记录到成功的任务数中。 Warning count 执行完成但包含警告的任务数。 说明: 产生警告的任务可能是失败的也可能是成功的,需要根据成功或失败的结果清单进一步判断。 产生警告的任务数与成功/失败任务数是相互独立的,总任务数仍是成功的任务数+失败的任务数。 Succeed bytes 上传/下载成功的字节数。 max cost 所有任务中的最长耗时,单位:毫秒。 min cost 所有任务中的最短耗时,单位:毫秒。 average cost 平均耗时,单位:毫秒。 average tps 平均每秒的任务完成个数。 Task id 每次运行的唯一标识号,用于查找批量任务生成的结果清单文件。
  • 命令结构 Windows操作系统 上传文件 obsutil cp file_url obs://bucket[/key] [-arcDir=xxx] [-dryRun] [-link] [-u] [-vlength] [-vmd5] [-p=1] [-threshold=5248800] [-acl=xxx] [-encoding-type=url] [-sc=xxx] [-meta=aaa:bbb#ccc:ddd] [-ps=auto] [-o=xxx] [-cpd=xxx] [-fr] [-o=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] 上传文件夹 obsutil cp folder_url obs://bucket[/key] -r [-arcDir=xxx] [-dryRun] [-link] [-f] [-flat] [-u] [-vlength] [-vmd5] [-j=1] [-p=1] [-threshold=52428800] [-acl=xxx] [-encoding-type=url] [-sc=xxx] [-meta=aaa:bbb#ccc:ddd] [-ps=auto] [-include=*.xxx] [-exclude=*.xxx] [-timeRange=time1-time2] [-mf] [-o=xxx] [-cpd=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] 多文件/文件夹上传 obsutil cp file1_url,folder1_url|filelist_url obs://bucket[/prefix] -msm=1 [-r] [-arcDir=xxx] [-dryRun] [-link] [-f] [-u] [-vlength] [-vmd5] [-flat] [-j=1] [-p=1] [-threshold=52428800] [-acl=xxx] [-encoding-type=url] [-sc=xxx] [-meta=aaa:bbb#ccc:ddd] [-ps=auto] [-include=*.xxx] [-exclude=*.xxx][-timeRange=time1-time2] [-at] [-mf] [-o=xxx] [-cpd=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] 命令中的“/prefix”即为上传文件夹时的对象名前缀。运行示例请参见上传示例。 Linux/Mac操作系统 上传文件 ./obsutil cp file_url obs://bucket[/key] [-arcDir=xxx] [-dryRun] [-link] [-u] [-vlength] [-vmd5] [-p=1] [-threshold=5248800] [-acl=xxx] [-sc=xxx] [-meta=aaa:bbb#ccc:ddd] [-ps=auto] [-o=xxx] [-cpd=xxx] [-fr] [-o=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] 上传文件夹 ./obsutil cp folder_url obs://bucket[/key] -r [-arcDir=xxx] [-dryRun] [-link] [-f] [-flat] [-u] [-vlength] [-vmd5] [-j=1] [-p=1] [-threshold=52428800] [-acl=xxx] [-sc=xxx] [-meta=aaa:bbb#ccc:ddd] [-ps=auto] [-include=*.xxx] [-exclude=*.xxx] [-timeRange=time1-time2] [-at] [-mf] [-o=xxx] [-cpd=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] 多文件/文件夹上传 ./obsutil cp file1_url,folder1_url|filelist_url obs://bucket[/prefix] -msm=1 [-r] [-arcDir=xxx] [-dryRun] [-link] [-f] [-u] [-vlength] [-vmd5] [-flat] [-j=1] [-p=1] [-threshold=52428800] [-acl=xxx] [-sc=xxx] [-meta=aaa:bbb#ccc:ddd] [-ps=auto] [-include=*.xxx] [-exclude=*.xxx][-timeRange=time1-time2] [-mf] [-o=xxx] [-cpd=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] 命令中的“/prefix”即为上传文件夹时的对象名前缀。运行示例请参见上传示例。
  • 参数说明 参数 约束 描述 file_url 多文件/文件夹上传时可选 上传文件时必选 本地文件路径。 说明: 多文件/文件夹上传时,禁止路径嵌套,例如:/a/b/c和/a/b/。 多文件/文件夹上传时,必须配置msm=1,此时可以用英文逗号分隔多个文件,例如:file_url1,file_url2。 多文件/文件夹上传时,文件和文件夹可以同时存在,例如:file_url1,folder_url1,file_url2,folder_url2。 folder_url 多文件/文件夹上传时可选 上传文件夹时必选 本地文件夹路径。 说明: 上传文件夹时,如果未设置flat选项,则直接上传整个文件夹;如果设置了flat选项,则上传文件夹下的所有内容。 多文件/文件夹上传时,禁止路径嵌套,例如:/a/b/c和/a/b/。 多文件/文件夹上传时,必须配置msm=1,此时可以用逗号分隔多个文件夹,例如:folder_url1,folder_url2。 多文件/文件夹上传时,文件和文件夹可以同时存在,例如:file_url1,folder_url1,file_url2,folder_url2。 filelist_url 多文件/文件夹上传时可选 包含待上传文件/文件夹列表的文件,必须配置msm=2。 说明: 该文件为普通文本文件(如.txt文件、.csv文件),文件中的每行代表一个待上传的文件/文件夹,例如: file_url1 file_url2 folder_url1 folder_url2 文件中待上传的文件/文件夹禁止路径嵌套,例如:/a/b/c和/a/b/。 bucket 必选 桶名。 key 可选 上传文件时的对象名/对象名前缀,或上传文件夹时的对象名前缀。 规则如下: 上传文件时,如果该值为空,则将对象上传到桶的根目录,对象名为文件名。如果该值不为空,如果该值以“/”结尾,则以该值作为对象名前缀上传对象,对象名为该值+文件名;否则,将该值作为对象名进行上传; 上传文件夹时,如果该值为空,则将文件夹上传到桶的根目录;如果该值不为空,如果该值以“/”结尾,则将该值作为对象名前缀上传文件夹;否则,将文件夹上传到以该值加上“/”结尾的对象名前缀下。 说明: 请参考上传示例理解该参数的使用方式。 fr 附加参数,上传文件时可选 上传文件时生成结果清单文件。 flat 附加参数,多文件/文件夹上传或上传文件夹时可选 上传文件夹时,只上传该文件夹下的所有内容。 arcDir 附加参数,可选 上传文件成功后的归档路径,上传成功后的文件会移动到该路径下。 dryRun 附加参数,可选 测试模式运行,不执行实际的上传操作。 link 附加参数,可选 上传软链接文件/文件夹指向的真实路径。 须知: 如果未指定该参数,而待上传的文件是一个软链接且该软链接指向的目标文件不存在,则Windows操作系统会产生“The system cannot find the file specified”的上传失败异常,而macOS/Linux操作系统会产生“No such file or directory”的上传失败异常。 文件夹软链接不能形成环,否则上传会以panic的形式退出;如果不希望产生panic,请在配置文件中配置panicForSymbolicLinkCircle为false。 u 附加参数,可选 增量上传操作,设置该参数后,上传每个文件时会对比桶中对应路径的对象,仅在对象不存在,或者对象大小与文件大小不一致,或者对象的最后修改时间早于文件的最后修改时间时进行上传。 注意: 在比较每个本地文件与桶内对象差异时,会产生一次HEAD请求费用。 vlength 附加参数,可选 上传完成后,验证桶中对象的大小是否与本地文件大小一致。 vmd5 附加参数,可选 上传完成后,验证桶中对象的MD5值是否与本地文件的MD5值一致。 说明: 如果待上传的本地文件较大,使用该参数将会因为计算MD5而导致整体性能下降。 MD5值校验通过后,会将该值设置为对象元数据x-obs-meta-md5chksum,用于下载或复制时校验MD5。 注意: 如果您的业务涉及加密场景,请勿使用该参数。 p 附加参数,可选 每个分段上传任务的最大并发数,默认为配置文件中的defaultParallels。 threshold 附加参数,可选 开启分段上传任务的阈值,单位:字节,默认为配置文件中的defaultBigfileThreshold。 说明: 如果待上传的文件小于该阈值,则使用直接上传模式;否则使用分段上传模式。 直接上传模式不会产生断点记录文件,不支持断点续传。 支持带容量单位配置,例如,配置1MB代表1048576字节。 acl 附加参数,可选 上传文件时可指定的预定义访问策略。支持的值: private public-read public-read-write bucket-owner-full-control 说明: 以上四个值分别对应:私有读写、公共读、公共读写、桶拥有者完全控制,四种预定义访问策略。 sc 附加参数,可选 上传文件时可指定的对象的存储类型。支持的值: standard:标准存储,访问时延低、吞吐量高,适用于有大量热点文件(平均一个月多次)或小文件(小于1MB)。 warm:低频访问存储,可用性略低于standard,适用于不频繁访问(平均一年少于12次)但在需要时也要求快速访问数据的业务场景。 cold:归档存储,安全、持久且成本极低,适用于很少访问(平均一年访问一次)数据的业务场景。 meta 附加参数,可选 上传文件时可指定的标准和自定义元数据。格式为:key1:value1#key2:value2#key3:value3。 说明: 以上值表示复制对象完成后,桶内目标对象包含三组自定义元数据,分别为:key1:value1、key2:value2、key3:value3。 标准元数据头包括:Content-Type、Content-Encoding、Cache-Control、Content-Disposition、Content-Language、Expires。 ps 附加参数,可选 每个分段上传任务的段大小,单位:字节,取值范围是100KB~5GB,默认为配置文件中的defaultPartSize。 说明: 支持带容量单位配置,例如,配置1MB代表1048576字节。 支持配置为auto,此时obsutil会根据源文件大小自动设置每个分段任务的段大小。 cpd 附加参数,可选 生成断点记录文件的文件夹,默认为运行obsutil命令的用户目录的子文件夹.obsutil_checkpoint。 说明: 每个分段上传任务会产生唯一对应的断点记录文件并保存至该文件夹的upload子文件夹下,分段任务执行成功后,对应的断点记录文件会被自动删除;分段任务执行失败或被中断后,下次执行该分段任务时会尝试通过对应的断点记录文件恢复任务。 r 附加参数,上传文件夹时必选 多文件上传时可选 递归上传文件夹中的所有文件和子文件夹。 f 附加参数,多文件/文件夹上传或上传文件夹时可选 强制操作,不进行询问提示。 j 附加参数,多文件/文件夹上传或上传文件夹时可选 上传文件夹时批量任务的最大并发数,默认为配置文件中的defaultJobs。 说明: 工具会保证该值至少为1。 encoding-type 附加参数,可选 对象名有特殊字符时,取值为url。 说明: Util 5.5.12版本及以上支持该参数。 msm 附加参数,多文件/文件夹上传时必选 开启多文件/文件夹上传模式,支持的值:[1|2]。 说明: 如果msm=1则代表上传的URL是一组文件/文件夹列表(以英文逗号分隔)。 如果该值为msm=2则代表上传的URL是一个包含文件/文件夹列表的文件。 如果文件/文件夹名本身包含英文逗号,请不要使用msm=1的模式。 如果没有设置r参数,则列表中的文件夹不会被上传。 exclude 附加参数,多文件/文件夹上传或上传文件夹时可选 不包含文件的匹配模式,如:*.txt。 说明: 支持“*”匹配多个任意字符和“?”匹配单个任意字符,例如abc*.txt代表匹配以abc开头以.txt结尾的任意文件。 您可以使用“\*”代表匹配“*”字符本身,使用“\?”代表匹配“?”字符本身。 如果待上传的文件名匹配该参数,则跳过该文件的上传。 须知: 建议使用引号传递该匹配模式(Linux/Mac操作系统使用单引号,Windows操作系统使用双引号)防止特殊符号被操作系统转义,导致不可预期的结果。 该匹配模式作用于文件全路径(含文件名和文件目录)。 该匹配模式仅对文件夹中的文件生效。 支持指定多个exclude参数,如 -exclude=*.xxx -exclude=*.xxx include 附加参数,多文件/文件夹上传或上传文件夹时可选 包含文件的匹配模式,如:*.jpg。 说明: 支持“*”匹配多个任意字符和“?”匹配单个任意字符。 您可以使用“\*”代表匹配“*”字符本身,使用“\?”代表匹配“?”字符本身。 首先执行exclude的匹配规则,如果待上传的文件名不匹配exclude,则判断待上传的文件名是否匹配该参数,如果匹配则上传该文件,否则跳过该文件的上传。 说明: 如何使用include实现前缀匹配上传: ./obsutil cp /localpath/ obs://test/ -include=/localpath/2022-12-09/* -f -r 以上命令的含义是,上传本地路径localpath下符合匹配规则的文件到test桶下,匹配规则是以/localpath/2022-12-09/开头的。 须知: 建议使用引号传递该匹配模式(Linux/Mac操作系统使用单引号,Windows操作系统使用双引号)防止特殊符号被操作系统转义,导致不可预期的结果。 该匹配模式作用于文件全路径(含文件名和文件目录)。 该匹配模式仅对文件夹中的文件生效。 支持指定多个include参数,如 -include=*.xxx -include=*.xxx at 附加参数,多文件/文件夹上传或上传文件夹时可选 指定按照文件最后访问时间作为timeRange匹配模式,仅上传最后访问时间满足timeRange时间段的文件。 说明: 需配合timeRange使用 disableDirObject 附加参数,多文件夹上传时可选 上传文件夹时候,文件夹本身不会作为一个对象上传,在有很多空文件夹场景时候可以避免无用文件夹上传到对象存储桶中;文件夹下有文件时候,文件夹下文件依然会上传并保持原有路径格式,不受影响。 timeRange 附加参数,多文件/文件夹上传或上传文件夹时可选 上传文件时的时间段匹配模式,仅上传最后修改时间在该时间段内的文件。 该匹配模式优先级低于文件名匹配模式:exclude和include,优先执行文件名匹配模式后才会执行该匹配模式。 说明: 使用“time1-time2”,代表匹配的时间段,其中time1必须小于等于time2,格式为yyyyMMddHHmmss。 时间格式支持自动补全,例如yyyyMMdd等价于yyyyMMdd000000,yyyyMM等价于yyyyMM01000000。 使用“*-time2”,代表匹配最后修改时间在time2之前的所有文件,使用“time1-*”,代表匹配最后修改时间time1之后的所有文件。 须知: 该匹配模式表示的时间是UTC时间。 mf 附加参数,可选 设置名称匹配模式(include、exclude)和时间匹配模式(timeRange)对文件夹也生效。 o 附加参数,可选 生成结果清单文件的文件夹,命令执行完成后,会在该文件夹下生成结果清单文件(可能包含成功结果、失败结果、警告结果三个文件),默认为运行obsutil命令的用户目录的子文件夹.obsutil_output。 说明: 结果清单文件命名规则:cp_{succeed | failed | warning}_report_时间_TaskId.txt。 单个结果清单文件默认情况下最大为30MB且最大可保留的文件个数为1024,可在配置文件中通过recordMaxLogSize和recordBackups分别配置。 当涉及多文件/文件夹时,如需确认失败任务的具体错误信息,可参考结果清单文件夹下的失败结果清单文件"cp_failed_report_时间_TaskId.txt"及日志路径下的日志文件。 config 附加参数,可选 运行当前命令时的自定义配置文件,可支持的配置参数请参考配置参数说明。 e 附加参数,可选 指定终端节点。 i 附加参数,可选 指定用户的AK。 k 附加参数,可选 指定用户的SK。 t 附加参数,可选 指定用户的securitytoken。
  • 是否支持同步删除文件 不支持。 当前obsutil工具支持同步上传本地目录到OBS桶中,同步成功后,如果用户删除了本地目录下的部分文件,再次进行增量同步上传时,工具将只会检查本地存在的文件是否需要增量进行上传,无法感知已删除文件是否需要在目标桶内进行删除。 需要注意的是,如果在上传过程中,本地目录中的文件有新增则无法保证工具最终上传的对象数目和本地目录内文件数目的一致性;如果希望同步这部分新增文件可以在上传完成后重新执行增量上传命令。 父主题: 常见问题
  • 命令结构 Windows操作系统 obsutil ls obs://bucket[/prefix] [-s] [-d][-fs] [-v] [-du] [-marker=xxx] [-versionIdMarker=xxx] [-encoding-type=url][-bf=xxx] [-limit=1] [-format=default] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] macOS/Linux操作系统 ./obsutil ls obs://bucket[/prefix] [-s][-fs] [-d] [-v] [-du] [-marker=xxx] [-versionIdMarker=xxx] [-encoding-type=url][-bf=xxx] [-limit=1] [-format=default] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx]
  • 参数说明 参数 约束 描述 bucket 必选 桶名。 prefix 可选 列举对象时的对象名前缀。 说明: 如果为空,则表示列举桶内所有对象。 s 附加参数,可选 以精简格式显示查询结果。 说明: 在精简格式下,返回结果只包含对象名。 d 附加参数,可选 仅列举当前目录下的对象和子目录,而非递归列举所有对象和子目录。 对于并行文件系统目录,大数据场景下(目录层级深、目录下文件多)的列举,建议使用此参数限制列举范围。 说明: OBS中约定以“/”作为目录分隔符。 v 附加参数,可选 列举桶内多版本对象,列举结果包含最新版本的对象和历史版本的对象(如果有)。 marker 附加参数,可选 列举桶内对象的起始位置,返回结果是对象名按照字典序排序后该参数以后的所有对象。 说明: 请参考列举示例理解该参数的使用方式。 versionIdMarker 附加参数,可选,必须与v和marker配合使用 列举桶内多版本对象的起始位置,返回结果是对象名和版本号按照字典序排序后该参数以后的所有对象。 说明: 如果versionIdMarker不是marker的一个版本号,则该参数无效。 bf 附加参数,可选 列举结果中字节数的显示格式。支持的值: human-readable raw 说明: 如果未设置该参数,则列举结果中字节数的显示格式由配置文件中的humanReadableFormat参数决定。 du 附加参数,可选 快速返回所列举对象的总大小,不显示具体的对象信息,可与其他参数配合使用。 说明: 如果所列举对象过多,需稍候。 注意: Util 5.4.6 版本及以上支持该参数。 fs 附加参数,可选 是否使用并行文件系统的列举方式,如果桶是并行文件系统,推荐加上该参数。 注意: 该列举方式会因为目录结构,耗时会差别很大。 该参数开启后,会忽略marker和limit值,统计桶或者并行文件系统或者指定目录的大小。 Util 5.5.12版本及以上支持该参数。 limit 附加参数,可选 列举结果的最大个数,小于等于0表示列举所有结果,不设置时的默认值为1000。 说明: 如果桶内对象较多,建议设置该值限制每次列举的对象个数,列举结束后,如果仍有对象,会在结果中返回下次请求的marker和versionIdMarker,用于继续列举剩余的对象。 encoding-type 附加参数,可选 对象名有特殊字符时,取值为url。 说明: Util 5.5.12版本及以上支持该参数。 format 附加参数,可选 指定以自定义格式打印列举结果。当前仅支持值[default],指定列举结果在一行显示。 config 附加参数,可选 运行当前命令时的自定义配置文件,可支持的配置参数请参考配置参数说明。 e 附加参数,可选 指定终端节点。 i 附加参数,可选 指定用户的AK。 k 附加参数,可选 指定用户的SK。 t 附加参数,可选 指定用户的securitytoken。
  • 运行示例 示例1:以Windows操作系统为例,运行obsutil ls obs://bucket-test -limit=10,查询桶内对象。 obsutil ls obs://bucket-test -limit=10 Start at 2024-09-30 08:18:50.0592788 +0000 UTC Listing objects . Folder list: obs://bucket-test/api/ Object list: key LastModified Size StorageClass ETag obs://bucket-test/AUTHORS 2018-11-16T02:15:49Z 33243 standard "796393c1eaf502ef56a85c2ceb640aea" obs://bucket-test/CONTRIBUTING.md 2018-11-16T02:15:49Z 1366 standard "12d93325ba6131f852daecd18dd65edc" obs://bucket-test/CONTRIBUTORS 2018-11-16T02:15:49Z 45710 standard "b486b5003e6215c9199e86ab3ccec9fa" obs://bucket-test/LICENSE 2018-11-16T02:15:49Z 1479 standard "5d4950ecb7b26d2c5e4e7b4e0dd74707" obs://bucket-test/PATENTS 2018-11-16T02:15:49Z 1303 standard "3a55d95595a6f9e37dee53826b4daff2" obs://bucket-test/README.md 2018-11-16T02:15:49Z 1399 standard "97351fd7946b9ea021a31a86ba2a10ab" obs://bucket-test/VERSION 2018-11-16T02:15:49Z 7 standard "43d93b553855b0e1fc67e31c28c07b65" obs://bucket-test/api/README 2018-11-16T02:15:49Z 521 standard "4e9e63a87075df60cdf65c8ce9e92117" obs://bucket-test/api/except.txt 2018-11-16T02:15:49Z 20194 standard "8eb96de3f60447e2f09a7531c99fb3ee" Next marker: api/except.txt Folder number: 1 File number: 9 示例2:以Windows操作系统为例,运行obsutil ls obs://bucket-test2,查询桶内对象。 obsutil ls obs://bucket-test2 Start at 2024-09-30 08:21:06.6300221 +0000 UTC Listing objects . Object list: key LastModified Size StorageClass ETag obs://bucket-test2/123 2022-03-29T09:17:51Z 0B standard "d41d8cd98f00b204e9800998ecf8427e" obs://bucket-test2/1_2-3.txt 2022-03-29T09:17:51Z 0B standard "d41d8cd98f00b204e9800998ecf8427e" obs://bucket-test2/1_2-3_33.txt 2022-03-29T09:17:51Z 200B standard "dcf204c11d791255adc63e61763c2426" obs://bucket-test2/新建文本文档.txt 2022-03-29T09:17:51Z 0B standard "d41d8cd98f00b204e9800998ecf8427e" Total size of bucket: 200B Folder number: 0 File number: 4 示例3:以Windows操作系统为例,运行obsutil ls obs://bucket-test2/prefix,查询桶内以prefix为前缀的对象。 obsutil ls obs://bucket-test2/prefix Start at 2024-09-30 08:24:36.7057148 +0000 UTC Listing objects . Object list: key LastModified Size StorageClass ETag obs://bucket-test2/prefix 2022-03-29T09:17:51Z 0B standard "d41d8cd98f00b204e9800998ecf8427e" obs://bucket-test2/prefix2 2022-03-29T09:17:51Z 0B standard "d41d8cd98f00b204e9800998ecf8427e" Total size of prefix [prefix]:: 0B Folder number: 0 File number: 2 更多运行示例,请参见列举示例。
  • 命令结构 Windows操作系统 obsutil cp -recover=xxx [-arcDir=xxx] [-dryRun] [-f] [-u] [-vlength] [-vmd5] [-j=1] [-p=1] [-threshold=52428800] [-acl=xxx] [-sc=xxx] [-meta=aaa:bbb#ccc:ddd] [-ps=auto] [-include=*.xxx] [-exclude=*.xxx] [-timeRange=time1-time2] [-mf] [-o=xxx] [-cpd=xxx] [-clear] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] macOS/Linux操作系统 ./obsutil cp -recover=xxx [-arcDir=xxx] [-dryRun] [-f] [-u] [-vlength] [-vmd5] [-j=1] [-p=1] [-threshold=52428800] [-acl=xxx] [-sc=xxx] [-meta=aaa:bbb#ccc:ddd] [-ps=auto] [-include=*.xxx] [-exclude=*.xxx] [-timeRange=time1-time2] [-mf] [-o=xxx] [-cpd=xxx] [-clear] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx]
  • 运行示例 以Windows操作系统为例,运行obsutil cp -recover 104786c8-27c2-48fc-bc6a-5886596fb0ed -f,恢复失败的上传任务。 obsutil cp -recover 104786c8-27c2-48fc-bc6a-5886596fb0ed -f Start at 2024-10-08 01:10:07.3809685 +0000 UTC Parallel: 5 Jobs: 5 Threshold: 50.00MB PartSize: auto VerifyLength: false VerifyMd5: false CheckpointDir: xxxx Task id: a628d6da-c562-4a1f-b687-4fa125de0dc3 OutputDir: xxxx TempFileDir: xxxx [========================================================] 100.00% tps:35.71 2.02 KB/s 7.20MB/7.20MB 0s Succeed count: 1 Failed count: 0 Succeed bytes: xxx Metrics [max cost:90 ms, min cost:45 ms, average cost:63.80 ms, average tps:35.71, transfered size:70B] Task id: a628d6da-c562-4a1f-b687-4fa125de0dc3
  • 参数说明 参数 约束 描述 recover 附加参数,必选 待恢复上传任务结果清单文件的任务号。 说明: 任务号(TaskId)可在每次上传任务运行完毕后获取,或者通过结果清单文件名查询(文件名除去后缀.txt后的后36位)。 待恢复的上传任务会从结果清单的文件夹中查找,结果清单文件夹的路径参考附加参数o。 arcDir 附加参数,可选 上传文件成功后的归档路径,上传成功后的文件会移动到该路径下。 dryRun 附加参数,可选 测试模式运行,不执行实际的上传操作。 u 附加参数,可选 增量上传操作,设置该参数后,上传每个文件时会对比桶中对应路径的对象,仅在对象不存在,或者对象大小与文件大小不一致,或者文件的最后修改时间晚于对象的最后修改时间时进行上传。 注意: 在比较每个本地文件与桶内对象差异时,会产生一次HEAD请求费用。 vlength 附加参数,可选 上传完成后,验证桶中对象的大小是否与本地文件大小一致。 vmd5 附加参数,可选 上传完成后,验证桶中对象的MD5值是否与本地文件的MD5值一致。 说明: 如果待上传的本地文件较大,使用该参数将会因为计算MD5而导致整体性能下降。 MD5值校验通过后,会将该值设置为对象元数据x-obs-meta-md5chksum,用于下载或复制时校验MD5。 注意: 如果您的业务涉及加密场景,请勿使用该参数。 p 附加参数,可选 每个分段上传任务的最大并发数,默认为配置文件中的defaultParallels。 threshold 附加参数,可选 开启分段上传任务的阈值,单位:字节,默认为配置文件中的defaultBigfileThreshold。 说明: 如果待上传的文件小于该阈值,则使用直接上传模式;否则使用分段上传模式。 直接上传模式不会产生断点记录文件,不支持断点续传。 支持带容量单位配置,例如,配置1MB代表1048576字节。 acl 附加参数,可选 上传文件时可指定的预定义访问策略。支持的值: private public-read public-read-write 说明: 以上三个值分别对应:私有读写、公共读、公共读写,三种预定义访问策略。 sc 附加参数,可选 上传文件时可指定的对象的存储类型。支持的值: standard:标准存储,访问时延低、吞吐量高,适用于有大量热点文件(平均一个月多次)或小文件(小于1MB)。 warm:低频访问存储,可用性略低于standard,适用于不频繁访问(平均一年少于12次)但在需要时也要求快速访问数据的业务场景。 cold:归档存储,安全、持久且成本极低,适用于很少访问(平均一年访问一次)数据的业务场景。 meta 附加参数,可选 上传文件时可指定的自定义元数据。格式为:key1:value1#key2:value2#key3:value3。 说明: 以上值表示上传文件完成后,桶内对象包含三组自定义元数据,分别为:key1:value1、key2:value2、key3:value3。 ps 附加参数,可选 每个分段上传任务的段大小,单位:字节,取值范围是100KB~5GB,默认为配置文件中的defaultPartSize。 说明: 支持带容量单位配置,例如,配置1MB代表1048576字节。 支持配置为auto,此时obsutil会根据源文件大小自动设置每个分段任务的段大小。 cpd 附加参数,可选 生成断点记录文件的文件夹,默认为运行obsutil命令的用户目录的子文件夹.obsutil_checkpoint。 说明: 每个分段上传任务会产生唯一对应的断点记录文件并保存至该文件夹的upload子文件夹下,分段任务执行成功后,对应的断点记录文件会被自动删除;分段任务执行失败或被中断后,下次执行该分段任务时会尝试通过对应的断点记录文件恢复任务。 f 附加参数,可选 强制操作,不进行询问提示。 j 附加参数,可选 上传文件夹时任务的最大并发数,默认为配置文件中的defaultJobs。 说明: 工具会保证该值至少为1。 exclude 附加参数,可选 不包含文件的匹配模式,如:*.txt。 说明: 支持“*”匹配多个任意字符和“?”匹配单个任意字符,例如abc*.txt代表匹配以abc开头以.txt结尾的任意文件。 您可以使用“\*”代表匹配“*”字符本身,使用“\?”代表匹配“?”字符本身。 如果待上传的文件名匹配该参数,则跳过该文件的上传。 须知: 建议使用引号传递该匹配模式(macOS/Linux操作系统使用单引号,Windows操作系统使用双引号)防止特殊符号被操作系统转义,导致不可预期的结果。 该匹配模式作用于文件全路径(含文件名和文件目录)。 该匹配模式不适用于文件夹。 支持指定多个exclude参数,如-exclude=*.xxx -exclude=*.xxx include 附加参数,可选 包含文件的匹配模式,如:*.jpg。 说明: 支持“*”匹配多个任意字符和“?”匹配单个任意字符。 您可以使用“**”代表匹配“*”字符本身,使用“\?”代表匹配“?”字符本身。 首先执行exclude的匹配规则,如果待上传的文件名不匹配exclude,则判断待上传的文件名是否匹配该参数,如果匹配则上传该文件,否则跳过该文件的上传。 须知: 建议使用引号传递该匹配模式(macOS/Linux操作系统使用单引号,Windows操作系统使用双引号)防止特殊符号被操作系统转义,导致不可预期的结果。 该匹配模式作用于文件全路径(含文件名和文件目录)。 该匹配模式不适用于文件夹。 支持指定多个include参数,如-include=*.xxx -include=*.xxx at 附加参数,可选 恢复上传文件时指定按照文件最后访问时间作为timeRange匹配模式,仅上传最后访问时间满足timeRange时间段的文件。 说明: 需配合timeRange使用 timeRange 附加参数,可选 上传文件时的时间段匹配模式,仅上传最后修改时间在该时间段内的文件。 该匹配模式优先级低于文件名匹配模式:exclude和include,优先执行文件名匹配模式后才会执行该匹配模式。 说明: 使用“time1-time2”,代表匹配的时间段,其中time1必须小于等于time2,格式为yyyyMMddHHmmss。 时间格式支持自动补全,例如yyyyMMdd等价于yyyyMMdd000000,yyyyMM等价于yyyyMM01000000。 使用“*-time2”,代表匹配最后修改时间在time2之前的所有文件,使用“time1-*”,代表匹配最后修改时间time1之后的所有文件。 须知: 该匹配模式表示的时间是UTC时间。 mf 附加参数,可选 设置名称匹配模式(include、exclude)和时间匹配模式(timeRange)对对象名以“/”结尾的对象也生效。 o 附加参数,可选 生成结果清单文件的文件夹,命令执行完成后,会在该文件夹下生成结果清单文件(可能包含成功结果、失败结果和警告结果三个文件),默认为运行obsutil命令的用户目录的子文件夹.obsutil_output。 说明: 结果清单文件命名规则:cp_{succeed | failed | warning}_report_时间_TaskId.txt。 单个结果清单文件默认情况下最大为30MB且最大可保留的文件个数为1024,可在配置文件中通过recordMaxLogSize和recordBackups分别配置。 当涉及多文件/文件夹时,如需确认失败任务的具体错误信息,可参考结果清单文件夹下的失败结果清单文件"cp_failed_report_时间_TaskId.txt"及日志路径下的日志文件; clear 附加参数,可选 设置在恢复上传任务完成后删除已恢复任务对应的失败结果清单文件。 config 附加参数,可选 运行当前命令时的自定义配置文件,可支持的配置参数请参考配置参数说明。 e 附加参数,可选 指定终端节点。 i 附加参数,可选 指定用户的AK。 k 附加参数,可选 指定用户的SK。 t 附加参数,可选 指定用户的securitytoken。
  • 命令结构 Windows操作系统 移动单个对象 obsutil mv obs://srcbucket/key obs://dstbucket/[dest] [-dryRun] [-u] [-p=1] [-threshold=52428800] [-versionId=xxx] [-acl=xxx] [-sc=xxx] [-meta=aaa:bbb#ccc:ddd] [-ps=auto] [-cpd=xxx] [-fr] [-o=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] 批量移动对象 obsutil mv obs://srcbucket[/key] obs://dstbucket[/dest] -r [-dryRun] [-f] [-flat] [-u] [-j=1] [-p=1] [-threshold=52428800] [-acl=xxx] [-sc=xxx] [-meta=aaa:bbb#ccc:ddd] [-ps=auto] [-include=*.xxx] [-exclude=*.xxx] [-timeRange=time1-time2] [-mf] [-o=xxx] [-cpd=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] macOS/Linux操作系统 移动单个对象 ./obsutil mv obs://srcbucket/key obs://dstbucket/[dest] [-dryRun] [-u] [-p=1] [-threshold=52428800] [-versionId=xxx] [-acl=xxx] [-sc=xxx] [-meta=aaa:bbb#ccc:ddd] [-ps=auto] [-cpd=xxx] [-fr] [-o=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] 批量移动对象 ./obsutil mv obs://srcbucket[/key] obs://dstbucket[/dest] -r [-dryRun] [-f] [-flat] [-u] [-j=1] [-p=1] [-threshold=52428800] [-acl=xxx] [-sc=xxx] [-meta=aaa:bbb#ccc:ddd] [-ps=auto] [-include=*.xxx] [-exclude=*.xxx] [-timeRange=time1-time2] [-mf] [-o=xxx] [-cpd=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] 移动的源路径和目标路径不能完全相同。 批量移动时,源路径和目标路径不能相互嵌套。 不支持对并行文件系统的批量移动的操作。
  • 参数说明 参数 约束 描述 srcbucket 必选 源桶名。 dstbucket 必选 目标桶名。 dest 可选 移动对象时的目标对象名,或批量移动时目标对象名前缀。 key 移动对象时必选 批量移动时可选 移动对象时的源对象名,或批量移动时源对象名前缀。 规则如下: 移动对象时,该值不能为空;如果dest为空,则将源对象移动到目标桶的根目录;如果dest以“/”结尾,则目标对象名为dest+源对象名;否则,目标对象名为dest; 批量移动时,如果该值为空,则移动源桶中的所有对象;否则,移动源桶中以该值为对象名前缀的所有对象。目标对象名的确认规则为: 如果dest以“/”结尾,目标对象名为dest+源对象名; 如果dest不以“/”结尾,目标对象名为dest+/+源对象名。 说明: 批量移动且该值不为空时,如果未设置flat选项,则移动时源对象名会包含上一级父对象名前缀;如果设置了flat选项,则移动时源对象名不包含上一级父对象名前缀。 请参考移动命令结构理解该参数的使用方式。 fr 附加参数,移动对象时可选 移动对象时生成结果清单文件。 flat 附加参数,批量移动时可选 移动时,不包含上一级父对象名前缀。 dryRun 附加参数,可选 测试模式运行,不执行实际的移动操作。 u 附加参数,可选 增量移动操作,设置该参数后,移动每个源对象时会对比目标桶中对应路径的目标对象,仅在目标对象不存在,或者目标对象大小与源对象大小不一致,或者目标对象的最后修改时间早于源对象的最后修改时间时进行移动。 说明: 如果目标对象与源对象大小以及修改时间都一致,此时会直接删除源对象,而不进行移动操作。 p 附加参数,可选 每个分段移动任务的最大并发数,默认为配置文件中的defaultParallels。 threshold 附加参数,可选 开启分段移动任务的阈值,单位:字节,默认为配置文件中的defaultBigfileThreshold。 说明: 如果待移动的源对象小于该阈值,则使用直接移动模式;否则使用分段移动模式。 直接移动模式不会产生断点记录文件,不支持断点续传。 支持带容量单位配置,例如,配置1MB代表1048576字节。 versionId 附加参数,移动对象时可选 移动单个对象时可指定的源对象版本号。 说明: POSIX桶无version概念,故POSIX桶不支持versionId选项。 acl 附加参数,可选 移动对象时可指定的目标对象的预定义访问策略。支持的值: private public-read public-read-write bucket-owner-full-control 说明: 以上四个值分别对应:私有读写、公共读、公共读写、桶拥有者完全控制,四种预定义访问策略。 sc 附加参数,可选 移动对象时可指定的目标对象的存储类型。支持的值: standard:标准存储,访问时延低、吞吐量高,适用于有大量热点文件(平均一个月多次)或小文件(小于1MB)。 warm:低频访问存储,可用性略低于standard,适用于不频繁访问(平均一年少于12次)但在需要时也要求快速访问数据的业务场景。 cold:归档存储,安全、持久且成本极低,适用于很少访问(平均一年访问一次)数据的业务场景。 meta 附加参数,可选 移动对象时可指定的目标对象的自定义元数据。格式为:key1:value1#key2:value2#key3:value3。 说明: 以上值表示移动对象完成后,桶内目标对象包含三组自定义元数据,分别为:key1:value1、key2:value2、key3:value3。 fs 附加参数,可选 是否使用并行文件系统的列举方式,如果桶是并行文件系统,推荐加上该参数。 注意: 该列举方式会因为目录结构,耗时会差别很大。 该参数开启后,会忽略marker和limit值,统计桶或者并行文件系统或者指定目录的大小。 Util 5.5.12版本及以上支持该参数。 ps 附加参数,可选 每个分段移动任务的段大小,单位:字节,取值范围是100KB~5GB,默认为配置文件中的defaultPartSize。 说明: 支持带容量单位配置,例如,配置1MB代表1048576字节。 支持配置为auto,此时obsutil会根据源对象大小自动设置每个分段任务的段大小。 cpd 附加参数,可选 生成断点记录文件的文件夹,默认为运行obsutil命令的用户目录的子文件夹.obsutil_checkpoint。 说明: 每个分段移动任务会产生唯一对应的断点记录文件并保存至该文件夹的copy子文件夹下,分段任务执行成功后,对应的断点记录文件会被自动删除;分段任务执行失败或被中断后,下次执行该分段任务时会尝试通过对应的断点记录文件恢复任务。 r 附加参数,批量移动时必选 按指定源桶的对象名前缀批量移动对象。 f 附加参数,批量移动时可选 强制操作,不进行询问提示。 j 附加参数,批量移动时可选 批量移动时的最大并发数,默认为配置文件中的defaultJobs。 说明: 工具会保证该值至少为1。 exclude 附加参数,批量移动时可选 不包含源对象的匹配模式,如:*.txt。 说明: 支持“*”匹配多个任意字符和“?”匹配单个任意字符,例如abc*.txt代表匹配以abc开头以.txt结尾的任意文件。 您可以使用“\*”代表匹配“*”字符本身,使用“\?”代表匹配“?”字符本身。 如果待移动的对象名匹配该参数,则跳过该对象的移动。 须知: 建议使用引号传递该匹配模式(macOS/Linux操作系统使用单引号,Windows操作系统使用双引号)防止特殊符号被操作系统转义,导致不可预期的结果。 该匹配模式作用于对象全路径(含从根路径开始的对象前缀和对象名,例如,桶内对象路径为obs://bucket/src1/src2/test.txt,则对象的全路径为src1/src2/test.txt)。 该匹配模式仅适用于对象名非“/”结尾的对象。 支持指定多个exclude参数,如-exclude=*.xxx -exclude=*.xxx include 附加参数,批量移动时可选 包含源对象的匹配模式,如:*.jpg。 说明: 支持“*”匹配多个任意字符和“?”匹配单个任意字符。 您可以使用“\*”代表匹配“*”字符本身,使用“\?”代表匹配“?”字符本身。 首先执行exclude的匹配规则,如果待移动的对象名不匹配exclude,则判断待移动的对象名是否匹配该参数,如果匹配则移动该对象,否则跳过该文件的复制。 须知: 建议使用引号传递该匹配模式(macOS/Linux操作系统使用单引号,Windows操作系统使用双引号)防止特殊符号被操作系统转义,导致不可预期的结果。 该匹配模式作用于对象全路径(含从根路径开始的对象前缀和对象名,例如,桶内对象路径为obs://bucket/src1/src2/test.txt,则对象的全路径为src1/src2/test.txt)。 该匹配模式仅适用于对象名非“/”结尾的对象。 支持指定多个include参数,如-include=*.xxx -include=*.xxx timeRange 附加参数,批量移动时可选 移动对象时的时间段匹配模式,仅移动最后修改时间在该时间段内的对象。 该匹配模式优先级低于对象名匹配模式:exclude和include,优先执行对象名匹配模式后才会执行该匹配模式。 说明: 使用“time1-time2”,代表匹配的时间段,其中time1必须小于等于time2,格式为yyyyMMddHHmmss。 时间格式支持自动补全,例如yyyyMMdd等价于yyyyMMdd000000,yyyyMM等价于yyyyMM01000000。 使用“*-time2”,代表匹配最后修改时间在time2之前的所有文件,使用“time1-*”,代表匹配最后修改时间time1之后的所有文件。 须知: 该匹配模式表示的时间是UTC时间。 该匹配模式仅适用于对象名非“/”结尾的对象。 mf 附加参数,可选 设置名称匹配模式(include、exclude)和时间匹配模式(timeRange)对对象名以“/”结尾的对象也生效。 o 附加参数,可选 生成结果清单文件的文件夹,命令执行完成后,会在该文件夹下生成结果清单文件(可能包含成功结果、失败结果和警告结果三个文件),默认为运行obsutil命令的用户目录的子文件夹.obsutil_output。 说明: 结果清单文件命名规则:mv_{succeed | failed | warning}_report_时间_TaskId.txt。 单个结果清单文件默认情况下最大为30MB且最大可保留的文件个数为1024,可在配置文件中通过recordMaxLogSize和recordBackups分别配置。 当涉及多文件/文件夹时,如需确认失败任务的具体错误信息,可参考结果清单文件夹下的失败结果清单文件"mv_failed_report_时间_TaskId.txt"及日志路径下的日志文件; config 附加参数,可选 运行当前命令时的自定义配置文件,可支持的配置参数请参考配置参数说明。 e 附加参数,可选 指定终端节点。 i 附加参数,可选 指定用户的AK。 k 附加参数,可选 指定用户的SK。 t 附加参数,可选 指定用户的securitytoken。
  • 虚拟机Agent支持的操作系统说明 虚拟机Agent支持多个操作系统。您需要根据表2制作镜像,使用制作的镜像创建弹性云服务器和安装虚拟机Agent。 表2 虚拟机Agent支持的操作系统及版本 操作系统 版本 说明 EulerOS 2.2 64bit 2.3 64bit 2.5 64bit 2.8 64bit 对于Linux x86_64服务器,支持表中所有的操作系统及版本。 对于Linux ARM服务器,除了CentOS仅支持表中7.4及以上版本以外,表中所列的其他操作系统对应版本均支持。 CentOS 6.5 64bit 6.8 64bit 6.9 64bit 6.10 64bit 7.2 64bit 7.3 64bit 7.4 64bit 7.5 64bit 7.6 64bit 7.7 64bit 7.8 64bit 7.9 64bit Fedora 29 64bit 30 64bit openEuler 20.03 64bit
  • 虚拟机Agent状态说明 虚拟机Agent的状态及说明,请参见表1。 表1 虚拟机Agent状态说明 Agent状态 说明 未安装agent E CS 节点上没有安装虚拟机Agent,需安装。 在线 ECS节点上已经安装虚拟机Agent,当前处于正常状态。 离线 ECS节点上已经安装虚拟机Agent,但处于离线状态,不能正常工作。 如何处理Agent离线,请参考如何处理虚拟机Agent离线?。 升级中 ECS节点上已经安装虚拟机Agent,当前处于Agent版本升级状态。 升级失败 ECS节点上已经安装虚拟机Agent,当前处于Agent版本升级失败状态。 重启中 ECS节点上已经安装虚拟机Agent,当前处于重启状态。
  • 绑定CCE集群 登录ServiceStage控制台。 选择“环境管理”,进入“环境管理”页面。 单击待操作环境名称,进入环境“概览”页面。 选择“计算”资源类型下的资源名称“云容器引擎 CCE”。 单击“立即绑定”。 已创建CCE集群,请参考下表为环境绑定CCE集群。 是否为高可用环境 绑定CCE集群操作方法 是 说明: 高可用环境下待绑定集群的master节点所在可用区、集群下运行工作负载的node节点所在可用区必须和绑定集群时所选可用区一致。 在“可用区”下拉列表选择可用区。 在“集群”下拉列表选择该可用区下可绑定的CCE集群。 单击“确定”。 单击“添加集群”。 在“可用区”下拉列表选择另外一个可用区。 在“集群”下拉列表选择该可用区下可绑定的CCE集群。 单击“确定”。 否 在“集群”下拉列表选择待绑定集群。 在“命名空间”下拉列表选择CCE集群待绑定的命名空间。 在绑定了CCE集群的环境下创建并部署组件时,指定了CCE集群绑定的命名空间,创建并部署组件时,如果使用当前环境构建组件镜像,则该命名空间默认用于隔离构建数据;该命名空间也默认用于隔离创建的组件实例。 完成CCE集群绑定后,您可以根据实际业务需要重新为集群绑定新命名空间,请参考绑定命名空间。 单击“确定”。 如果选择的待绑定CCE集群已安装Sermant Injector插件,则需同时纳管已安装的Sermant Injector插件所关联的ServiceComb引擎或者注册配置中心。否则,会导致本环境下Sermant Injector插件不可用。纳管ServiceComb引擎或者注册配置中心,请参考纳管基础资源。 未创建CCE集群,请根据页面提示前往CCE控制台,参考前提条件创建CCE集群后再次执行绑定操作。 “Kubernetes”类型的环境,如果选择的VPC开启了IPv6且纳管了CCE集群资源时,需选择开启了IPv6开关的CCE集群资源。否则,会导致在该VPC下的开启了安全认证的微服务引擎专享版上注册的Java Chassis微服务在使用IPv6服务注册发现地址时,注册失败。 处理方法,请参考如何处理开启了安全认证的微服务引擎专享版开启IPv6后服务注册失败?。
  • 前提条件 已创建1个环境待绑定的状态为“运行中”的CCE集群。集群和环境所在的VPC需要一致,且不能被其他环境纳管。CCE集群用于“Kubernetes”类型环境下部署和运行组件。 创建CCE集群,请参考购买集群。您可以根据您的实际业务需要选择创建 CCE Turbo 集群或者CCE Standard集群。 如果您创建的是CCE Turbo集群,需要为集群配置SNAT规则,使之能够通过NAT网关访问公网用于拉取源码。否则,会导致使用源码通过容器部署方式部署组件或执行源码构建任务的时候因为无法访问公网导致拉取源码失败,从而导致组件部署或构建失败。为集群配置SNAT规则,请参考从容器访问公网。 为CCE集群添加节点,请参考创建节点。 ServiceStage支持使用CCE集群下“弹性云服务器-虚拟机”、“裸金属服务器”类型的节点。 CCE集群节点支持的操作系统,请参考节点操作系统。 CCE集群节点容器引擎当前支持Docker和Containerd。节点操作系统和容器引擎的对应关系,请参考容器引擎。 已创建Kubernetes类型的环境,请参考使用纳管资源配置模式创建Kubernetes环境。
  • 创建构建任务 基于已有业务代码,可以创建构建工程,然后启动构建任务,将业务代码构建打包,归档到部署源,后续部署应用组件时可以直接使用对应的软件包。 构建任务有如下两种类型: 系统构建任务,您在使用容器部署方式基于界面配置创建并部署组件、使用容器部署方式基于YAML配置创建并部署组件时系统创建的构建任务。 用户构建任务,由您在创建源码构建任务、创建软件包构建任务时创建的构建任务。 图1 创建构建任务
  • 操作步骤 登录性能测试服务控制台,在左侧导航栏中选择“PerfTest测试工程”。 在待编辑PerfTest测试工程所在行,单击工程名称进入测试工程详情页面。 选择“测试用例”页签,在左侧“用例列表”下选择待配置的测试用例。 选择页面右侧的“用例详情”进入用例详情页面,输入测试用例描述、前置条件、测试步骤,依照表1设置用例基本信息。 表1 用例基本信息 参数 参数说明 状态 描述测试用例当前处于哪种状态,如新建、设计中、测试中、完成。 用例ID 用例ID信息。 用例等级 Level 0:最基本的功能验证,用例不宜过多,各模块尽量保证在10-20个,占比5%左右。 1级:基本功能验证,可用于继承特性的基本功能验证、迭代验收前的基本功能验证等,占比20%左右。 2级:重要特性验证,可用于测试版本(非回归版本)中手工测试,占比60%左右。 3级:一般功能/非重要功能验证,包括对基本/重要功能的异常测试,占比10%~15%左右。 4级:非常特殊输入、场景、阈值条件的用例,该级别用例不宜过多,占比0%~5%左右。 标签 用例自定义标签,用于标识用例。 输入标签:单击标签输入框,输入标签后,用空格或回车键生成标签,每个用例限制10个标签。 删除标签:单击标签输入框,单击已生成标签后的删除该标签。 创建时间 测试用例的创建时间,用例保存后自动生成。 修改时间 测试用例的最新修改时间,用例保存后自动生成。 用例详情信息设置完成后,单击“保存”。
  • 操作步骤 登录性能测试服务控制台,在左侧导航栏中选择“PerfTest测试工程”。 在待编辑PerfTest测试工程所在行,单击工程名称进入测试工程详情页面。 选择“测试用例”页签,在左侧“用例列表”下选择待配置的测试用例。 选择页面右侧的“用例详情”进入用例详情页面,输入测试用例描述、前置条件、测试步骤,依照表1设置用例基本信息。 表1 用例基本信息 参数 参数说明 状态 描述测试用例当前处于哪种状态,如新建、设计中、测试中、完成。 用例ID 用例ID信息。 用例等级 Level 0:最基本的功能验证,用例不宜过多,各模块尽量保证在10-20个,占比5%左右。 1级:基本功能验证,可用于继承特性的基本功能验证、迭代验收前的基本功能验证等,占比20%左右。 2级:重要特性验证,可用于测试版本(非回归版本)中手工测试,占比60%左右。 3级:一般功能/非重要功能验证,包括对基本/重要功能的异常测试,占比10%~15%左右。 4级:非常特殊输入、场景、阈值条件的用例,该级别用例不宜过多,占比0%~5%左右。 标签 用例自定义标签,用于标识用例。 输入标签:单击标签输入框,输入标签后,用空格或回车键生成标签,每个用例限制10个标签。 删除标签:单击标签输入框,单击已生成标签后的删除该标签。 创建时间 测试用例的创建时间,用例保存后自动生成。 修改时间 测试用例的最新修改时间,用例保存后自动生成。 用例详情信息设置完成后,单击“保存”。
  • 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 user_details Array of user_details objects 数据库账户信息。 total_count Integer 数据库账户数量。 表5 user_details 参数 参数类型 描述 user_name String 数据库账户名。 data_bases Array of strings 已授权数据库。 dml Integer DML授权。 0:读写权限 1:只读权限 2:只读和设置权限 3:读写和设置权限 ddl Integer DDL授权。 0:无DDL权限 1:有DDL权限 状态码: 400 表6 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 错误描述。 状态码: 500 表7 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 错误描述。
  • 响应示例 状态码: 200 Success. { "user_details" : [ { "user_name" : "root", "data_bases" : [ "*" ], "dml" : 2, "ddl" : 0 }, { "user_name" : "user_test", "data_bases" : [ "*" ], "dml" : 2, "ddl" : 0 } ], "total_count" : 2 }
  • URI GET /v3/{project_id}/instances/{instance_id}/starrocks/users 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 租户在某一Region下的project ID。 获取方法请参见获取项目ID。 instance_id 是 String StarRocks实例ID,严格匹配UUID规则。 表2 Query参数 参数 是否必选 参数类型 描述 user_name 否 String 数据库账户。 limit 是 Integer 查询记录数,不能为负数,最小值为1,最大值为100。 offset 是 Integer 索引位置,偏移量。从第一条数据偏移offset条数据后开始查询(偏移0条数据,表示从第一条数据开始查询),必须为数字,不能为负数。
  • 请求示例 查询错误日志详细信息。 POST https://{endpoint}/v3.1/056538411200d4cd2f79c003c7606412/instances/096c0fc43e804757b59946b80dc27f8bin07/error-logs { "start_time" : "2022-11-20T00:00:00+0800", "end_time" : "2022-11-29T00:00:00+0800", "node_id" : "cc07c60e94ec4575989840e648fb4f66no07", "limit" : 10, "line_num" : 1669344916000 }
  • 响应示例 状态码: 200 Success. { "error_log_list" : [ { "node_id" : "cc07c60e94ec4575989840e648fb4f66no07", "time" : "2022-11-25T10:55:16.000", "level" : "ERROR", "content" : "[MY013508] [Repl] do failed: 1", "line_num" : 1669344916000 } ] }
  • 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 error_log_list Array of LtsLogErrorDetail objects 错误日志列表。 表5 LtsLogErrorDetail 参数 参数类型 描述 node_id String 节点ID。 time String 执行时间。 level String 日志级别。 content String 错误日志内容。 line_num String 日志单行序列号。 状态码: 400 表6 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 错误消息。 状态码: 500 表7 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 错误消息。
  • 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通过调用 IAM 服务获取用户Token接口获取。 请求响应成功后在响应消息头中包含的“X-Subject-Token”的值即为Token值。 X-Language 否 String 请求语言类型。默认en-us。 取值范围: en-us zh-cn 表3 请求Body参数 参数 是否必选 参数类型 描述 node_id 是 String 节点ID。 start_time 是 String 开始时间,格式为“yyyy-mm-ddThh:mm:ssZ”。 其中,T指某个时间的开始;Z指时区偏移量,例如偏移1个小时显示为+0100。 end_time 是 String 结束时间,格式为“yyyy-mm-ddThh:mm:ssZ”。 其中,T指某个时间的开始;Z指时区偏移量,例如偏移1个小时显示为+0100。 limit 是 Integer 查询记录数。 line_num 否 String 日志单行序列号,第一次查询时不需要此参数,后续分页查询时需要使用,可从上次查询的返回信息中获取。 level 否 String 日志级别,默认为ALL。 取值范围: ALL INFO LOG WARNING ERROR FATAL PANIC NOTE
  • 响应示例 状态码: 200 Success. { "user_details" : [ { "user_name" : "root", "databases" : [ "*" ], "dml" : 2, "ddl" : 0 }, { "user_name" : "user_test1", "databases" : [ "*" ], "dml" : 2, "ddl" : 0 } ], "total_count" : 2 }
共100000条