检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用示例 以迁移HDFS上的“/data/sample”目录为例,执行以下命令查看HDFS文件系统上此目录下的文件与目录。 hadoop fs -ls hdfs:///data/sample 执行以下命令,将HDFS文件系统上“/data/sample”目录下所有文件与目录迁移到
分隔符是指URL中用来区分命令访问方式一些关键字段的分隔符号。具体说明如表1所示。 表1 分隔符 名称 样式 顺序 说明 参数分隔符 _ 固定顺序 命令参数与参数值之间的分隔符。 命令分隔符 , 无关 多项处理命令参数之间的分隔符。 管道分隔符 / 有关 两组处理命令之间分隔符,参见管道。
使用wget命令,下载对应当前操作系统版本的Nginx安装包。 wget http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm 执行以下命令,建立Nginx的yum仓库。
功能说明 重命名对象操作是指将指定并行文件系统内的一个对象重命名为其他对象名。 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 接口约束 您必须是并行文件系统拥有者或拥有重命名文件的权限,才能重命名文件。建议使用IAM或策略进行授权,
代码开发与运行,需要提前在本地完成的开发环境搭建,比如下载安装依赖软件、安装开发工具等。 准备华为账号 使用OBS之前您必须要有一个华为账号。申请华为账号步骤详见:注册华为账号并开通华为云。 准备访问密钥 OBS通过用户账号中的AK和SK进行签名验证,确保通过授权的账号才能访问指
最佳实践 利用obsutil帮助命令查找工具功能 利用crontab配置定时任务 将obsutil设为系统内置命令 为obsutil配置自动获取访问密钥 obsutil性能调优最佳实践 利用obsutil进行断点续传 利用obsutil上传软链接 为obsutil配置HTTP代理
开启obsutil日志后,命令运行过程中产生的正常/异常的日志记录都会保存在obsutil日志文件中,可用于问题分析和定位; 请保证运行命令的用户对该路径有读写权限。 须知: 同一个用户如果开启多个obsutil进程同时运行时,可能导致日志文件并发写失败的问题,请在运行命令时加上-config参数为每个进程配置独立的配置文件。
33%,单盘利用率低于70%。 方案架构 针对传统企业在大数据场景面临的问题,华为云提供了基于对象存储服务OBS作为统一数据湖存储的大数据存算分离方案。 图1 基于OBS的华为云大数据存算分离方案 华为云大数据存算分离方案基于对象存储服务OBS的大容量高带宽能力,以及多协议共享访问技术(HDFS/POSIX/OBS
配置SDK代理(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 在项目工程根目录下使用npm命令下载proxy-agent依赖包。 npm install --save proxy-agent 在项目工程里面声明并配置代理。
管理并行文件系统(Java SDK) 创建并行文件系统(Java SDK) 列举并行文件系统(Java SDK) 列举并行文件系统内对象(Java SDK) 修改写对象(Java SDK) 重命名对象(Java SDK) 截断对象(Java SDK)
回原图,不作处理。 目前对CMYK颜色模式的图片进行处理可能出现颜色的变化。 输入图片总像素不能超过2.5亿px。 命令限制 命令长度不超过512个字符,操作命令总数不超过20个。 区域限制 当前仅部分区域支持图片处理特性,支持的区域详情请在功能总览搜索“图片处理”查看。 父主题:
配置OBS客户端 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可通过初始化参数对ObsClient进行配置,可以配置的参数见下表: 参数 描述 建议值 access_key_id
使用obsutil下载文件夹前期速度正常,下载到90%后速度变慢 使用obsutil下载文件到99%后失败 obsutil上传下载速度慢 obsutil cp命令如何开启增量上传、下载和复制? 并行文件系统是否支持挂载到Windows服务器?
列举和下载。 obsutil提供了三个命令用于实现目录分享的功能,具体步骤如下: 使用obsutil create-share命令创建目录分享的授权码。例如分享桶名为bucket的test目录并设置提取码为123456,有效期为10天的命令为: obsutil create-share
行文件系统失败的可能原因及解决办法。 现象一:取消挂载并行文件系统时出现“target is busy”类似错误 问题定位: 取消挂载时,命令行终端停留在挂载目录或其子目录。 解决办法: 退出挂载目录。 父主题: 异常处理
是否支持修改对象名称(重命名) 支持。可以使用mv移动命令,示例如下: 以Windows操作系统为例,运行obsutil mv obs://bucket-test/key obs://bucket-test/key2 ,将对象key重命名为key2。 obsutil mv obs://bucket-test/key
底更新已列举出的文件或文件夹数量,每次触底更新100个。 在对话框中选择存放文件或文件夹的路径后,单击“选择文件夹”。 使用命令行工具obsutil 命令结构: Windows操作系统 下载单个对象 obsutil cp obs://bucket/key file_or_folder_url
使用getcondition.image_process_config指定图片处理参数。 图片处理参数当前仅支持命令方式,即image/commands格式。 图片处理参数支持级联处理,可对图片文件依次实施多条命令。 父主题: 下载对象
m略有不同请注意): export SPDLOG_VERSION=spdlog-1.9.2 #x86执行这条命令 bash build.sh sdk #arm执行这条命令 bash build_aarch.sh sdk 具体参数可见脚本内注释,生成产物为一个包含了demo代码,i
多个文件即可,同时支持“Ctrl+A”全选操作。操作习惯与Windows操作系统上的操作习惯保持一致。 单击“确定”。 使用命令行工具obsutil 命令结构: Windows操作系统 上传文件 obsutil cp file_url obs://bucket[/key] [-arcDir=xxx]