检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive对接OBS 概述 Hive是一个数据仓库工具,可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载,它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive
Logstash对接OBS 概述 Logstash能够从多个来源采集数据、转换数据并将数据发送到存储系统中,具体请参见Logstash。本文用于描述Logstash如何对接使用OBS。 注意事项 请使用较新版本的logstash,例如≥7.10.2的版本,避免使用较老版本的logstash
SDK公共结果对象(Harmony SDK) 功能说明 调用OBS客户端的相关接口完成后,如果未发生异常,则均会返回公共结果对象。 参数描述 表1 返回结果 参数类型 描述 Response 说明: 该接口返回是一个Promise类型,需要使用Promise、async/await
删除桶触发器(Python SDK) 功能说明 删除在桶上绑定工作流触发器。 接口约束 OBS支持的Region与Endpoint的对应关系,详细信息请参见地区与终端节点。 方法定义 WorkflowClient.deleteTriggerPolicy() 返回结果 表1 返回结果
图1 DIS通知示意图 约束与限制 需要使用IAM增加Tenant Administrator权限后才能设置、获取、删除DIS通知策略。使用DIS消息通知需要使用IAM创建对OBS云服务的委托,委托赋予的权限需为数据接入服务DIS的DIS User权限。
桶用量统计 OBS支持在对象存储控制台上查看所有桶或单个桶的存储、流量和请求的情况。 此功能需要在区域级项目配置云监控的权限策略ces:metricData:list,才能看到用量统计。配置方法请参见Cloud Eye自定义策略。 使用场景 OBS为您提供了如表1所示的几种统计分析项
配置桶触发器(Python SDK) 功能说明 在桶上绑定工作流触发器。 接口约束 OBS支持的Region与Endpoint的对应关系,详细信息请参见地区与终端节点。 方法定义 WorkflowClient.putTriggerPolicy(rules) 请求参数 表1 请求参数列表
查询桶触发器(Python SDK) 功能说明 查询桶上绑定工作流触发器。 接口约束 OBS支持的Region与Endpoint的对应关系,详细信息请参见地区与终端节点。 方法定义 WorkflowClient.getTriggerPolicy() 返回结果 表1 返回结果 类型
图9 图片预览 单击“复制链接”,按钮提示“复制成功”时,即可获取到图片文件的访问地址来使用图片。 父主题: 图片处理
查询工作流(Python SDK) 功能说明 按名称查询工作流。 接口约束 OBS支持的Region与Endpoint的对应关系,详细信息请参见地区与终端节点。 方法定义 WorkflowClient.getWorkflow(graphName) 请求参数 表1 请求参数列表 名称
OBS数据删除或覆盖后是否可以恢复? 华为云无法恢复您主动删除、覆盖、配置规则自动删除或服务协议到期自动删除的OBS数据,请您谨慎操作。 可能导致数据被删除或覆盖的场景: 通过控制台、API、SDK、OBS Browser+、obsutil、obsfs方式删除对象。详情请参见删除对象
设置对象过期时间(Python SDK) 本示例用于上传文件流时通过header设置对象过期时间 obsClient = ObsClient(access_key_id=ak, secret_access_key=sk, server=server) try: # 读取文件流
问题定位 问题定位简介 日志文件 结果清单 返回码
查询工作流列表(Python SDK) 功能说明 查询工作流列表。 接口约束 OBS支持的Region与Endpoint的对应关系,详细信息请参见地区与终端节点。 方法定义 WorkflowClient.listWorkflow(graphNamePrefix=None, start
查询工作流实例(Python SDK) 功能说明 查询工作流实例详细。 接口约束 OBS支持的Region与Endpoint的对应关系,详细信息请参见地区与终端节点。 方法定义 WorkflowClient.getWorkflowExecution(executionName, graphName
恢复失败状态的工作流实例(Python SDK) 功能说明 当且仅当一个工作流实例是执行失败状态才能执行恢复操作。恢复后,工作流实例将从上次失败的状态处继续执行,而已经执行过的状态不会再执行。 接口约束 OBS支持的Region与Endpoint的对应关系,详细信息请参见地区与终端节点
监控 为什么OBS的云监控指标看不到5xx状态码统计数?
异常处理(Python SDK) HTTP状态码(Python SDK) OBS服务端错误码(Python SDK) 日志分析(Python SDK)
常见问题 HTTP状态码报405,如何处理? 如何解决 Declaration of xxxx must be compatible with xxxx?
DataX对接OBS 概述 DataX是一个数据同步框架,实现了包括MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能。OBS在大数据场景中可以替代Hadoop系统中的HDFS