检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
0-bin.tar.gz。 安装flume。 解压apache-flume-1.9.0-bin.tar.gz到/opt/apache-flume-1.9.0-bin目录。 已部署Hadoop的环境:无需额外操作,部署Hadoop请参见Hadoop对接OBS。 未部署Hadoop的环境:
、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统,虚拟防火墙、API网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为云安全性的构建思
日志分析 设置方式 开启系统日志记录,代码如下所示: static OBSClient *client; NSString *endPoint = @"your-endpoint"; // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密
功能说明 将指定并行文件系统内的一个对象从指定位置起修改为其他内容。 接口约束 目前接口仅在并行文件系统支持,普通对象桶不支持,如何创建并行文件系统请参考创建桶。 您必须拥有obs:object:PutObject权限,才能修改写对象。相关授权操作可参见典型权限场景配置案例。 OBS支持
Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出,在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置: log4j.logger.com.obs= ERROR
在文件系统列表中,单击创建资源中创建的HPC型文件系统,进入文件系统详情页面。 进入页签“绑定后端存储”,单击“绑定OBS桶”。 图1 绑定OBS桶 在右侧弹窗“绑定OBS目标”中,填写如下表所示参数。 表1 绑定OBS目标配置参数 参数 含义 限制 配置后可编辑 路径名称 SFS Turbo文件系统根目录下会以该
为obsutil配置HTTP代理 您可以通过如下两种方式配置HTTP代理。 方式一,通过配置文件.obsutilconfig中的proxyUrl参数,示例:proxyUrl=http://username:password@your-proxy:8080; 方式二,通过系统环境变量HT
是否支持修改对象名称(重命名) 支持。可以使用mv移动命令,示例如下: 以Windows操作系统为例,运行obsutil mv obs://bucket-test/key obs://bucket-test/key2 ,将对象key重命名为key2。 obsutil mv obs://bucket-test/key
SDK) 功能说明 元数据(Metadata)为描述对象属性的信息,是一组名称值对,用作对象管理的一部分。 当前仅支持系统定义的元数据。系统定义的元数据又分为两种类别:系统控制和用户控制。 对指定桶中的对象发送HEAD请求,获取对象的元数据信息。 接口约束 您必须是桶拥有者或拥有获取对
l在不同操作系统上的下载地址及下载方法。 表1 obsutil推荐使用的操作系统版本 操作系统 推荐使用版本 Windows Windows 7 Windows 8 Windows 10 Windows Server 2016 Linux SUSE 11 Euler OS 2 CentOS
SDK) 功能说明 元数据(Metadata)为描述对象属性的信息,是一组名称值对,用作对象管理的一部分。 当前仅支持系统定义的元数据。系统定义的元数据又分为两种类别:系统控制和用户控制。 对指定桶中的对象发送HEAD请求,获取对象的元数据信息。 接口约束 您必须是桶拥有者或拥有获取对
SDK) 功能说明 元数据(Metadata)为描述对象属性的信息,是一组名称值对,用作对象管理的一部分。 当前仅支持系统定义的元数据。系统定义的元数据又分为两种类别:系统控制和用户控制。 对指定桶中的对象发送HEAD请求,获取对象的元数据信息。 接口约束 您必须是桶拥有者或拥有获取对
ID,接入键标识,用户在对象存储服务系统中的接入键标识,一个接入键标识唯一对应一个用户,一个用户可以同时拥有多个接入键标识。对象存储服务系统通过接入键标识识别访问系统的用户。 SK:Secret Access Key,安全接入键,用户在对象存储服务系统中的安全接入键,是用户访问对象存储服务系统的密钥,用户
理”对话框中显示。 单击“确定” 在OBS Browser右上角,单击选择账号即可登录。 后续处理 OBS Browser的“系统配置”,请参见系统配置。 如果希望通过OBS Browser管理多个账号拥有的对象,可单击账号名,并选择“账号管理”添加多个账号信息。单击想要登录的账
桶内的文件夹路径,支持多级文件夹,以“/”分隔。 folder_url 在本地文件系统路径中创建文件夹时必选 本地文件系统中的文件夹路径,支持绝对路径和相对路径。 config 附加参数,可选 运行当前命令时的自定义配置文件,可支持的配置参数请参考配置参数说明。 e 附加参数,可选 指定终端节点。 i 附加参数,可选
您需要更高安全性,可以开启服务端加密功能。 防止误删等操作:OBS控制台支持敏感操作保护,开启后执行删除桶等敏感操作时,系统会进行身份验证,进一步保证OBS配置和数据的安全性。OBS敏感操作清单请参见敏感操作。 父主题: 数据安全、迁移和备份
高性能AI训练,建议使用SFS Turbo HPC型高性能文件系统加速AI训练任务,训练速度加快可以节省AI算力费用。 文件系统使用空间不足,可以扩容吗? SFS Turbo文件系统支持在线扩容,扩容过程中挂载文件系统可能失败,建议业务低峰期扩容。 父主题: 面向AI场景使用OBS+SFS
Bad Request CustomDomainAreadyExist 配置了已存在的域。 已经配置过了,不需要再配置。 400 Bad Request CustomDomainNotExist 删除不存在的域。 未配置或已经删除,无需删除。 400 Bad Request EntityTooLarge
Bad Request CustomDomainAreadyExist 配置了已存在的域。 已经配置过了,不需要再配置。 400 Bad Request CustomDomainNotExist 删除不存在的域。 未配置或已经删除,无需删除。 400 Bad Request EntityTooLarge
附加参数,可选 每个分段上传任务的段大小,单位:字节,取值范围是100KB~5GB,默认为配置文件中的defaultPartSize。 说明: 支持带容量单位配置,例如,配置1MB代表1048576字节。 支持配置为auto,此时obsutil会根据源文件大小自动设置每个分段任务的段大小。 cpd