检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
eSQL、HDFS、Hive、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务,本文介绍DataX如何对接OBS。 对接步骤 下载datax源码,以发布版本datax_v202308为例:下载地址。 修改编译datax。
如果待下载的对象名匹配该参数,则跳过该对象的复制。 须知: 建议使用引号传递该匹配模式(macOS/Linux操作系统使用单引号,Windows操作系统使用双引号)防止特殊符号被操作系统转义,导致不可预期的结果。 该匹配模式作用于对象全路径(含从根路径开始的对象前缀和对象名,例如,桶内对象路径为obs://b
义域名的地址)来发起访问请求。 DNS将请求解析到桶默认域名。 DNS通过桶默认域名解析请求到OBS服务器的IP地址。 OBS返回服务器的IP地址给客户端。 客户端向OBS服务器IP地址发起Host为自定义域名的请求。 OBS识别请求的Host为自定义域名,向客户端返回不带下载响
ID,接入键标识,用户在对象存储服务系统中的接入键标识,一个接入键标识唯一对应一个用户,一个用户可以同时拥有多个接入键标识。对象存储服务系统通过接入键标识识别访问系统的用户。 SK:Secret Access Key,安全接入键,用户在对象存储服务系统中的安全接入键,是用户访问对象存储服务系统的密钥,用户
ProxyHost 代理服务器的主机地址。 N/A ProxyPort 代理服务器的端口号。 N/A ProxyUserName 连接代理服务器时使用的用户名。 N/A ProxyPassword 连接代理服务器时使用的用户密码。 N/A ProxyDomain 代理服务器的域。 N/A ValidateCertificate
购买时长仅支持指定15年。15年时长的存储资源包由于系统原因将会分为3个5年时长的资源包,但不影响使用,即0-5年时使用第一个5年资源包,以此类推。 OBS提供的以下资源包也同时支持并行文件系统: 表2 并行文件系统资源包说明 资源包 作用 使用限制 标准存储包(单AZ) 用于抵扣单AZ并行文件系统产生的标准存储数据容量费用。
IAM权限 IAM权限是作用于云资源的,IAM权限定义了允许和拒绝的访问操作,以此实现云资源权限访问控制。管理员创建IAM用户后,需要将用户加入到一个用户组中,IAM可以对这个组授予OBS所需的权限,组内用户自动继承用户组的所有权限。 IAM权限介绍 桶策略 桶策略是作用于所配置的OBS
元数据(Metadata)为描述对象属性的信息,是一组名称值对,用作对象管理的一部分。 当前支持系统定义的元数据和自定义元数据。 系统定义的元数据又分为两种类别:系统控制和用户控制。如Last-Modified日期等数据由系统控制,不可修改;如为对象配置的ContentLanguage,用户可以通过接口进行修改。
ID,接入键标识,用户在对象存储服务系统中的接入键标识,一个接入键标识唯一对应一个用户,一个用户可以同时拥有多个接入键标识。对象存储服务系统通过接入键标识识别访问系统的用户。 SK:Secret Access Key,安全接入键,用户在对象存储服务系统中的安全接入键,是用户访问对象存储服务系统的密钥,用户
右键单击要配置的连接,然后单击"属性 "。 单击 "Internet 协议版本 4 (TCP/IP) , 单击"属性",可查看具体的DNS服务器地址配置。 可以调整DNS服务器地址为8.8.8.8或者是114.114.114.114测试。 检查地址是否填写错误,如果错误请及时修改。 比如日志中解析失败地址是“obs
ID,接入键标识,用户在对象存储服务系统中的接入键标识,一个接入键标识唯一对应一个用户,一个用户可以同时拥有多个接入键标识。对象存储服务系统通过接入键标识识别访问系统的用户。 SK:Secret Access Key,安全接入键,用户在对象存储服务系统中的安全接入键,是用户访问对象存储服务系统的密钥,用户
查询桶触发器 功能介绍 本接口用于查询桶上绑定工作流触发器。 请求消息样式 GET /?obsworkflowtriggerpolicy HTTP/1.1 Host: bucket.obs.cn-north-4.myhuaweicloud.com Authorization: authorization
元数据(Metadata)为描述对象属性的信息,是一组名称值对,用作对象管理的一部分。 当前仅支持系统定义的元数据。系统定义的元数据又分为两种类别:系统控制和用户控制。如Last-Modified日期等数据由系统控制,不可修改;如为对象配置的ContentLanguage,用户可以通过接口进行修改。
Delete:指定对象版本号删除对象。 DeleteMarkerCreated:不指定对象版本号删除对象。 多个事件源类型可以作用于同一个目标对象,例如:同时选择“事件源类型”复选框中的Put、Copy、Delete等方法作用于某目标对象,则用户往该桶中上传、复制、删除符合前后缀规则的目标对象时,均会使触发器生效。
删除桶触发器 功能介绍 本接口用于删除在桶上绑定工作流触发器。 请求消息样式 DELETE /?obsworkflowtriggerpolicy HTTP/1.1 Host: bucket.obs.cn-north-4.myhuaweicloud.com Authorization:
界和无界流式数据。Flink定义了文件系统抽象,OBS服务实现了Flink的文件系统抽象,使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop目前仅支持OBS并行文件系统。 为了减少日志输出,在/opt/flink-1
ID,接入键标识,用户在对象存储服务系统中的接入键标识,一个接入键标识唯一对应一个用户,一个用户可以同时拥有多个接入键标识。对象存储服务系统通过接入键标识识别访问系统的用户。 SK:Secret Access Key,安全接入键,用户在对象存储服务系统中的安全接入键,是用户访问对象存储服务系统的密钥,用户
ID,接入键标识,用户在对象存储服务系统中的接入键标识,一个接入键标识唯一对应一个用户,一个用户可以同时拥有多个接入键标识。对象存储服务系统通过接入键标识识别访问系统的用户。 SK:Secret Access Key,安全接入键,用户在对象存储服务系统中的安全接入键,是用户访问对象存储服务系统的密钥,用户
ID,接入键标识,用户在对象存储服务系统中的接入键标识,一个接入键标识唯一对应一个用户,一个用户可以同时拥有多个接入键标识。对象存储服务系统通过接入键标识识别访问系统的用户。 SK:Secret Access Key,安全接入键,用户在对象存储服务系统中的安全接入键,是用户访问对象存储服务系统的密钥,用户
具体请参见图片处理如何收费? 计费说明 OBS服务默认为按需计费模式,即按实际使用的时长收费,以小时为单位,每小时整点结算,不设最低消费标准。 计费周期 系统每小时会统计前一个小时(整点区间,如18:00~19:00)的实际用量,根据实际用量产生话单并结算扣费。例如,在19:30结算的费用一般为