检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
22 23 24 25 # 引入模块 from obs import WorkflowClient # 创建WorkflowClient实例 workflowClient = WorkflowClient( access_key_id=os.getenv("AccessKeyID")
Storage Service Software Development Kit)是对OBS服务提供的REST API进行的封装,以简化用户的开发工作。用户直接调用OBS SDK提供的接口函数即可实现使用OBS服务业务能力的目的。 同时,我们针对不同语言的SDK提供了开发指南和API参
管理已暂停队列 前提条件 任务列表中存在正在暂停的任务。 操作步骤 登录OBS Browser+。 在页面左边的“任务管理”。 “任务管理”窗口单击“已暂停”按钮。 图1 已暂停队列列表 可选: 选择对单个任务或者多个任务单击“运行”按钮,运行后的任务会出现在“运行”或“待定”任务队列。
管理失败队列 前提条件 任务列表中存在失败的任务。 操作步骤 登录OBS Browser+。 在页面左边的“任务管理”。 “任务管理”窗口单击“失败”按钮。 图1 失败队列列表 可选: 选择对单个任务或者多个任务单击“删除”按钮。 可选: 选择对单个任务或者多个任务单击“重试”按钮。
22 23 24 25 # 引入模块 from obs import WorkflowClient # 创建WorkflowClient实例 workflowClient = WorkflowClient( access_key_id=os.getenv("AccessKeyID")
StateBackend设置为OBS中的路径。 示例: 1 env.setStateBackend(new FsStateBackend("obs://obs-bucket/test/checkpoint")); StreamingFileSink设置为OBS中的路径。 示例:
管理恢复中队列 前提条件 任务列表中存在恢复中的任务。 操作步骤 登录OBS Browser+。 在页面左边的“任务管理”。 “任务管理”窗口单击“恢复中”按钮。 图1 恢复中队列列表 可选: 选择对单个任务或者多个任务单击“删除”按钮。 归档存储的对象正在恢复的过程中,不允许暂停或删除恢复任务。
由于桶创建完成后不支持修改数据冗余策略(单/多AZ),因此请您在购买和创建桶时根据业务需要严格匹配。 如果您购买的资源包对应存储类别和桶的存储类别不一致,您可以通过设置桶存储类别接口修改桶的存储类别与资源包一致。 在桶创建完成后,不支持修改桶所在的区域,因此请您在创建桶时需要根据业务所在区域严格对应。如果
CDH和Hortonworks HDP,满足用户业务的灵活诉求。 华为云MapReduce服务(MRS) 华为云MapReduce服务(MRS)是华为云提供的大数据服务,可以在华为云上部署和管理Hadoop系统,一键即可部署Hadoop集群。 MRS提供用户完全可控的一站式企业级大数据集群云
管理已完成队列 前提条件 任务列表中存在已完成的任务。 操作步骤 登录OBS Browser+。 在页面左边的“任务管理”。 “任务管理”窗口单击“已完成”按钮。 图1 已完成队列列表 可选: 选择对单个任务或者多个任务单击“删除”按钮。 建议定期清空“已完成任务”列表,请参考为
不存在,或者对象大小与文件大小不一致,或者对象的最后修改时间早于文件的最后修改时间时才会进行上传。 需要注意的是,当修改已有任务的定时上传设置后,会重新创建任务,并覆盖掉原有任务,因此修改完成后第一次进行定时上传将采用全量上传的方式。 父主题: 常见问题
迁移HDFS数据至OBS 操作场景 在华为云大数据存算分离方案中,对象存储服务OBS作为统一数据湖存储数据。如果用户数据仍存储在本地HDFS中,则需要先将HDFS的数据迁移至OBS。 用户可以使用以下迁移方案中的任意一种完成数据迁移,包括:Distcp方式迁移、CDM方式迁移和OMS方式迁移。
监控安全风险 OBS提供基于云监控服务CES的资源和操作监控能力,帮助用户监控账号下的OBS桶,执行自动实时监控、告警和通知操作。用户可以实时掌握桶中所产生的各类请求、流量、带宽、错误响应和存储用量等信息。 关于OBS支持的监控指标,以及如何创建监控告警规则等内容,请参见监控。
管理运行队列 前提条件 任务列表中存在正在运行的任务。 操作步骤 登录OBS Browser+。 在页面左边的“任务管理”。 “任务管理”窗口默认会显示“运行队列”,如图1所示。 图1 运行队列列表 可选: 选择对单个任务或者多个任务单击“暂停”按钮,暂停后的任务会出现在“已暂停”任务队列。
22 23 24 25 # 引入模块 from obs import WorkflowClient # 创建WorkflowClient实例 workflowClient = WorkflowClient( access_key_id=os.getenv("AccessKeyID")
结果清单 配置结果清单 批量任务执行完成后,会生成结果清单文件,默认情况下结果清单文件保存在运行obsutil命令的用户目录的子文件夹.obsutil_output下,用户可以通过在运行命令时指定-o附加参数来指定保存结果清单文件的文件夹。 查看结果清单 结果清单文件包含三种类型,成
搜索桶 OBS Browser+支持按桶名所包含的字符串搜索桶。 操作步骤 登录OBS Browser+。 在主页面右上角的搜索框中输入需要查找的桶名,如图1所示。 图1 搜索框 单击。 搜索到的桶会显示在桶列表中。如果想重新搜索其他桶,可单击删除已输入的关键字后重新输入需要搜索的桶名,如图2所示。
= xxx,例如:date.timezone = UTC。 在程序中调用date_default_timezone_set('xxx')直接设置。 父主题: 异常处理
22 23 24 25 # 引入模块 from obs import WorkflowClient # 创建WorkflowClient实例 workflowClient = WorkflowClient( access_key_id=os.getenv("AccessKeyID")
获取桶的多版本状态 功能介绍 桶的所有者可以获取指定桶的多版本状态。 如果从未设置桶的多版本状态,则此操作不会返回桶的多版本状态。 请求消息样式 1 2 3 4 GET /?versioning HTTP/1.1 Host: bucketname.obs.cn-north-4.myhuaweicloud