检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
迁移HDFS数据至OBS 操作场景 在华为云大数据存算分离方案中，对象存储服务OBS作为统一数据湖存储数据。如果用户数据仍存储在本地HDFS中，则需要先将HDFS的数据迁移至OBS。 用户可以使用以下迁移方案中的任意一种完成数据迁移，包括：Distcp方式迁移、CDM方式迁移和OMS方式迁移。
如果处理完某个可能原因仍未解决问题，请继续排查其他可能原因。 图1 删除桶失败排查思路 表1 排查思路 可能原因 处理措施 本地网络故障 检查本地与OBS之间的网络是否正常，如果存在网络故障，解决网络故障，确保网络正常。 桶内对象未全部删除 请参考删除桶内对象。 桶内已删除对象未彻底删除
永久或者临时访问密钥中的AK。 sk 必选 永久或者临时访问密钥中的SK。 endpoint 必选 连接OBS的服务地址。可包含协议类型、域名、端口号（可选）。示例：https://your-endpoint:80。（出于安全性考虑，建议使用https协议） 例如，访问区域为华北-北京
不支持；当前obsutil工具支持同步上传本地目录到OBS桶中，同步成功后，如果用户删除了本地目录下的部分文件，再次进行增量同步上传时，工具将只会检查本地存在的文件是否需要增量进行上传，无法感知已删除文件是否需要在目标桶内进行删除。 需要注意的是，如果在上传过程中，本地目录中的文件有新增则无法保
桶中不完整的数据称之为碎片。OBS采用分段上传的模式上传数据，在下列情况下（但不仅限于此）通常会导致数据上传失败而产生碎片。 网络条件较差，与OBS的服务器之间的连接经常断开。 上传过程中，人为中断上传任务。 设备故障。 突然断电等特殊情况。 上传失败而产生的碎片会存储在OBS中，你可以使用本
Browser+最多同时一次上传500个文件，obsutil没有上传文件数量限制。 检查本地与OBS的网络是否正常，如果存在网络故障，解决网络故障，确保网络正常。 上传对象时弹出“Service Unavailable”的错误提示，则可能是因为当前服务器繁忙，请稍后重试。 请检查账号是否已通过实名认证。如果没有，请先实名认证。
数据迁移场景 数据迁移至OBS主要有以下几种场景： 搬迁本地数据至OBS 迁移第三方云厂商数据至OBS OBS之间数据迁移（跨账号、跨区域以及同区域内数据迁移） 场景一：搬迁本地数据至OBS 搬迁本地数据至OBS的方案如下，了解更多详见搬迁本地数据至OBS最佳实践： 表1 搬迁方案 搬迁方式
增量同步上传对象 功能说明 将本地源路径下的所有内容同步到OBS指定目标桶，使两边内容保持一致。这里的增量同步有两层含义：1）增量，依次比较源文件和目标对象，只上传存在变化的源文件；2）同步，命令执行完成后，保证本地源路径是OBS指定目标桶的子集，即本地源路径下的所有文件均能在OBS指定目标桶中找到对应对象。
File("localfile")); // localfile为待上传的本地文件路径，需要指定到具体的文件名 obsClient.putObject("bucketname", "objectname", fis); // 待上传的本地文件路径，需要指定到具体的文件名 FileInputStream
止盗链。 使用场景 一些不良网站为了不增加成本而扩充自己站点内容，经常盗用其他网站的链接。一方面损害了原网站的合法利益，另一方面又加重了服务器的负担。因此，产生了防盗链技术。 在HTTP协议中，通过表头字段referer，网站可以检测目标网页访问的来源网页。有了referer跟踪
OBS的3种加密方式 表1 OBS的3种服务端加密方式 对比维度 SSE-KMS （KMS 托管密钥的服务器端加密） SSE-OBS （OBS 托管密钥的服务器端加密） SSE-C （客户提供密钥的服务器端加密） 功能描述 在上传对象或访问对象时，OBS使用KMS主密钥派生的数据加密密钥，对OBS对象进行加解密。
在域名注册商处修改域名解析服务器地址。 在域名注册商处，将该根域名对应的NS记录中域名解析服务器地址修改为云解析服务（DNS）服务器的地址，具体地址为云解析服务中该公网域名记录集中NS记录的值字段内容信息。 详细的更改域名解析服务器地址的方法请参见配置网站解析章节中的“更改域名的DNS服务器”部分。
OBS的3种加密方式 表1 OBS的3种服务端加密方式 对比维度 SSE-KMS （KMS 托管密钥的服务器端加密） SSE-OBS （OBS 托管密钥的服务器端加密） SSE-C （客户提供密钥的服务器端加密） 功能描述 在上传对象或访问对象时，OBS使用KMS主密钥派生的数据加密密钥，对OBS对象进行加解密。
用于是否将此记录集关联至云服务资源实例。 该类型记录集仅支持设置为“否”。 否 线路类型 解析的线路类型用于DNS服务器在解析域名时，根据访问者的来源，返回对应的服务器IP地址。 默认值为“全网默认”。 仅支持为公网域名的记录集配置此参数。 全网默认：默认线路类型，当未根据访问者来
此时，可以通过在ECS上搭建Nginx反向代理服务器，来实现通过固定IP地址访问OBS。 方案架构 本实践将Nginx部署在ECS上，搭建Nginx反向代理服务器。用户对代理无感知，只需要将请求发送到反向代理服务器，然后由反向代理服务器向OBS获取数据，再返回给用户。反向代理服务器和OBS
选择“添加文件”，选择本地文件进行添加。 其他参数保持默认，单击“确定”。 对象上传后，您可以在对象列表页查看到已上传的对象。 步骤四：下载对象 当对象上传至桶后，您可以将对象下载至本地指定路径。 在对象列表页，找到已上传的对象，单击右侧的图标。 在对话框中选择存放文件或文件夹的本地路径后，单击“确定”。
obs://bucket-test/src1/src2/test1.txt obs://bucket-test/src1/src3/ 基于以上本地文件夹和桶内对象的格式，不同场景下同步上传的示例如下： 同步本地src1文件夹下的test3.txt文件至bucket-test桶的根目录，同步命令如下： ./obsutil
new UploadFileRequest("bucketname", "objectname"); // 设置待上传的本地文件，其中localfile为待上传的本地文件路径，需要指定到具体的文件名 request.setUploadFile("localfile"); // 设置分段上传时的最大并发数
归档日志文件 功能说明 将日志文件归档到本地，或归档到指定的桶。 命令结构 Windows操作系统 归档到本地 obsutil archive [file_or_folder_url] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx]
选择“添加文件”，选择本地文件进行添加。 其他参数保持默认，单击“确定”。 对象上传后，您可以在对象列表页查看到已上传的对象。 步骤四：下载对象 当对象上传至桶后，您可以将对象下载至本地指定路径。 在对象列表页，找到已上传的对象，单击右侧的图标。 在对话框中选择存放文件或文件夹的本地路径后，单击“确定”。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
