检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在CDH集群各节点执行以下命令，命令请根据hadoop-huaweicloud的jar包名字及实际CDH版本进行适配使用。
桶是OBS中存储对象的容器。您需要先创建一个桶，然后才能在OBS中存储数据。 华为云OBS控制台支持在创建桶时选择源桶，同步桶配置。
o 附加参数，可选 生成结果清单文件的文件夹，命令执行完成后，会在该文件夹下生成结果清单文件（包含成功结果和失败结果两个文件），默认为运行obsutil命令的用户目录的子文件夹.obsutil_output。
需要注意的是，如果在上传过程中，本地目录中的文件有新增则无法保证工具最终上传的对象数目和本地目录内文件数目的一致性；如果希望同步这部分新增文件可以在上传完成后重新执行增量上传命令。 父主题： 常见问题
需要注意的是，rateLimitThreshold参数指定的是obsutil任务的全局限速，这意味着当使用cp、sync等命令进行批量文件的上传/下载时，最终的实际上传/下载速度上限仍然为rateLimitThreshold指定的阈值而不是批量任务的并发任务数*rateLimitThreshold
started_at String 工作流实例启动时间。 execution_type String 工作流执行方式。 stopped_at String 工作流停止时间。 execution_state String 工作流运行状态。
图片处理参数当前仅支持命令方式，即image/commands格式。 图片处理参数支持级联处理，可对图片文件依次实施多条命令。 父主题： 下载对象
如果上传文件时弹出“Service Unavailable”的错误提示，则可能是因为当前服务器繁忙，请稍后重试。 如果上传文件或文件夹时弹出拒绝访问的错误提示，则有可能是如下几种情况导致的： 通过桶的ACL设置功能，限制了该桶的访问权限（如：该用户无桶的写入权限）。
表1 校验数据一致性的方式 方式 说明 操作指导 obsutil 命令行工具，可以通过简单的一行命令实现上传下载，并且在命令中选择是否采用MD5校验。
OBS 2.0/3.0支持 审计 云审计服务（Cloud Trace Service，CTS），是华为云安全解决方案中专业的日志审计服务，您可以通过CTS对OBS中桶和对象的各类事件操作记录进行收集、存储和查询，用于安全分析、合规审计、资源跟踪和问题定位等。
当上传任务暂停或者失败，重新启动上传任务，根据任务记录的分片信息，已上传成功的分片不会再次上传，会请求上传其他的分片。 对于万级别的文件数量的批量上传，建议使用obsutil工具，详见上传对象。 操作步骤 登录OBS Browser。 单击待上传文件或文件夹的桶。
o 附加参数，可选 生成结果清单文件的文件夹，命令执行完成后，会在该文件夹下生成结果清单文件（可能包含成功结果和失败结果两个文件），默认为运行obsutil命令的用户目录的子文件夹.obsutil_output。
启动数据传输 运行CDM作业，启动数据传输。用户可以通过作业管理界面查看作业进度。
执行以下命令，验证是否对接成功。 $SPARK_HOME/bin/run-example org.apache.spark.examples.JavaWordCount obs://obs-bucket/input/test.txt 父主题： 对接大数据组件
如果上传文件时弹出“Service Unavailable”的错误提示，则可能是因为当前服务器繁忙，请稍后重试。 如果上传文件或文件夹时弹出拒绝访问的错误提示，则有可能是如下几种情况导致的： 通过桶的ACL设置功能，限制了该桶的访问权限（如：该用户无桶的写入权限）。
启动数据传输 运行CDM作业，启动数据传输。用户可以通过作业管理界面查看作业进度。
如果上传文件时弹出“Service Unavailable”的错误提示，则可能是因为当前服务器繁忙，请稍后重试。 如果上传文件或文件夹时弹出拒绝访问的错误提示，则有可能是如下几种情况导致的： 通过桶的ACL设置功能，限制了该桶的访问权限（如：该用户无桶的写入权限）。
当上传任务暂停或者失败，重新启动上传任务，根据任务记录的分片信息，已上传成功的分片不会再次上传，会请求上传其他的分片。 如果您需要将文件归类处理，可以先新建文件夹，然后将相关的文件上传到文件夹中。新建文件夹步骤如下： 登录OBS Browser。
保证数据正确性：系统会定期对数据做扫描，仅限于判断数据块是否存在和被损坏（如有损坏，会启动修复），且不会读取数据的具体内容。 防止数据被盗用： 访问桶或对象时，如果桶或对象未公开，只有桶或对象的拥有者才能够访问，访问时需要提供访问密钥（AK/SK）。
在偶现该问题的情况下，可以考虑重试命令以规避该问题；针对上传/下载/复制等场景，可以在执行cp时指定-u参数进行增量上传，可以避免重试批量任务中已经成功完成的部分任务。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
