数据上传-华为云

城市智能体-校验上传数据的一致性:方式一：使用OBS Browser+校验上传数据的一致性

方式一：使用OBS Browser+校验上传数据的一致性 OBS Browser+默认关闭MD5校验，在OBS Browser+上启用MD5校验一致性并上传数据的步骤如下：登录OBS Browser+。单击客户端右上方的，并选择“高级设置”。勾选“MD5校验”，如图1所示。图1 配置MD5校验单击“确定”。选择待上传文件的桶，上传文件。若MD5校验成功，则文件上传成功。若MD5校验失败，则文件上传失败，且在任务管理中提示失败原因：校验文件MD5失败。

城市智能体数据上传

城市智能体-校验上传数据的一致性:方式二：使用obsutil校验上传数据的一致性

方式二：使用obsutil校验上传数据的一致性 obsutil支持在上传数据时通过附加参数（vmd5）来校验数据的一致性。以在Windows操作系统上传本地一个位于D盘的test.txt文件至mytestbucket桶为例，开启一致性校验的命令示例如下： obsutil cp D:\test.txt obs://mytestbucket/test.txt -vmd5 校验通过后，数据上传成功，系统显示Upload successfully的回显信息。图2 obsutil校验

城市智能体数据上传

AI开发平台MODELARTS-从JupyterLab下载文件至本地:从JupyterLab中下载大于100MB的文件到本地

从JupyterLab中下载大于100MB的文件到本地大于100MB的文件需要先从Notebook中上传到OBS，再从OBS下载到本地，具体操作如下：在Notebook中，新建一个大于100MB的“ipynb”文件，使用MoXing先将该文件从Notebook上传到OBS中，示例代码如下： 1 2 import moxing as mox mox.file.copy('/home/ma-user/work/obs_file.txt', 'obs://bucket_name/obs_file.txt') 其中“/home/ma-user/work/obs_file.txt”为文件在Notebook中的存储路径，“obs://bucket_name/obs_file.txt”为该文件上传到OBS的存储路径，其中“bucket_name”为OBS中创建的桶的名称，“obs_file.txt”为上传的文件。使用OBS或ModelArts SDK将OBS中的文件下载到本地。方式一：使用OBS进行下载在OBS中，可以将样例中的“obs_file.txt”下载到本地。如果您的数据较多，推荐OBS Browser+下载数据或文件夹。使用OBS下载文件的操作指导参见下载文件方式二：使用ModelArts SDK进行下载在您的本地环境下载并安装ModelArts SDK。完成ModelArts SDK的Session鉴权。将OBS中的文件下载到本地，详请参见从OBS下载数据。示例代码如下： 1 2 3 4 5 6 7 8 9 10 from modelarts.session import Session # 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全； # 本示例以ak和sk保存在环境变量中来实现身份验证为例，运行本示例前请先在本地环境中设置环境变量HUAWEICLOUD_SDK_AK和HUAWEICLOUD_SDK_SK。 __AK = os.environ["HUAWEICLOUD_SDK_AK"] __SK = os.environ["HUAWEICLOUD_SDK_SK"] # 如果进行了加密还需要进行解密操作 session = Session(access_key=__AK,secret_key=__SK, project_id='***', region_name='***') session.download_data(bucket_path="/bucket_name/obs_file.txt",path="/home/user/obs_file.txt")

AI开发平台MODELARTS Notebook中的数据上传下载

城市智能体-数据上传方式

数据上传方式城市智能体云平台提供数据文件上传功能，用户可以将本地的数据上传至系统默认提供的存储空间中。当前平台支持三种数据上传方式：桌面端程序OBS Browser+。命令行工具obsutil。数据快递。 OBS Browser+对网络要求较高，上传过程中需要尽量减少网络波动，否则容易导致数据上传失败。当上传数据量超过500GB时，建议使用obsutil。如果数据量巨大且对时效性要求较高、能够接受额外的服务成本，建议使用数据快递进行数据上传。具体使用哪个数据上传方式请参考表1。表1 数据上传场景上传数据方式业务场景优势劣势推荐 OBS Browser+ 主要适用于上传数据量小（文件大小小于500GB），且网络较好的场景。 OBS Browser+的图形化界面可以非常方便地让用户在本地对OBS进行管理，例如：创建桶、上传下载文件、浏览文件等。对网络要求较高且只针对小数据量。文件大小小于500GB。 obsutil 主要适用于上传数据量较大（文件大小超过500GB），或者需要执行批量处理、自动化任务的场景。简单、易用；无需安装，轻便小巧，即下即用；同时支持Windows/Linux/macOS三大平台；配置多元化，性能卓越。需要用户了解命令行操作。文件大小超过500GB。数据快递主要适用于TB到数百TB级数据且对时效性要求较高、能够接受额外的服务成本，使用物理存储介质（Teleport设备、外置USB硬盘驱动器、SATA硬盘驱动器、SAS硬盘驱动器等）上传大量数据的场景。 1.解决海量数据传输的难题（包括高昂网络成本、较长传输时间等）。 2.DES传输数据的速度可达到1000Mbps，相当于高速Internet传输速度的10倍，但是成本却低至高速。Internet费用的五分之一。 3.使用DES不占用用户公网带宽，不与主营业务争抢带宽资源。 1.数据快递方式需要华为数据中心邮寄Teleport设备给用户使用或者用户需自己准备磁盘进行快递的方式。 2.中途会耗费一定的时间。 3.会有额外的服务成本。 4.在快递期间可能存在丢失损坏的风险。文件大小在TB到数百TB级数据，且能接受额外的服务成本，对数据时效性要求较高。父主题：数据上传

城市智能体数据上传

企业搜索服务 KooSearch-更新数据:响应示例

响应示例状态码： 200 返回信息。 { "status" : "200", "message" : "success", "data" : null} 状态码： 400 详见错误码分类。 { "status" : "2018", "message" : "title为空", "data" : null} 状态码： 500 服务器请求失败。 { "status" : 1000, "message" : "服务异常", "data" : null}

企业搜索服务 KooSearch 数据上传管理

企业搜索服务 KooSearch-更新数据:请求示例

请求示例站内搜索场景数据更新。示例中开启了动态字段，将dynamicField参数指定为true，可以添加新字段“note”（string类型）。 https://koosearch.myhuaweicloud.com/v1/{project_id}/data-collections/itdata{ "records" : [ { "id" : "blog-100513456", "title" : "剑指Offer_编程题（C#实现）_从尾到头打印链表", "description" : "题目:从尾到头打印链表\\n题目描述\\n输入一个链表，按链表从尾到头的顺序返回一个ArrayList。\\n解题思路\\n1.建一个栈（特点：先前后出）和一个链表2\\n2.把输入链表的数据依次进栈\\n3.把栈里的东西倒进链表2中\\n参考代码\\nusing System.Collections.Generic;\\n/*\\npublic class ListNode\\n{\\n public int val;\\n publ...", "likes" : 1024, "views" : 1024, "note" : "XXX的备注" } ], "dynamicField" : true}

企业搜索服务 KooSearch 数据上传管理

企业搜索服务 KooSearch-更新数据:请求参数

请求参数表2 请求Header参数参数是否必选参数类型描述 application_id 是 String 应用ID。 X-Auth-Token 是 String 用户Token。通过调用 IAM 服务获取用户Token接口获取（响应消息头中X-Subject-Token的值）。 Content-Type 是 String 请求体参数类型，该字段必须设置为：application/json。最小长度：0 最大长度：20 表3 请求Body参数参数是否必选参数类型描述 requestId 否 String 请求唯一编号，仅适用于电商搜索。 timestamp 否 String 请求时间戳，仅适用于电商搜索。格式：unix时间戳示例：“1676274550” dynamicField 否 Boolean 是否开启动态字段，默认值为false，仅适用于站内搜索。 true：开启动态字段。如果上传或更新数据中有新增字段，系统会根据新增字段的值创建合适类型的字段（目前支持"yyyy-MM-ddTHH:mm:ss.SSSZ"格式的时间、long、double、string类型）。说明：新增的字段不会用于搜索匹配，只能用于过滤和排序。 false：关闭动态字段。上传或更新数据中不允许存在新增字段。 records 是 Array one of object: itdata 上传数据集。表4 itdata 参数是否必选参数类型描述 id 是 String 主键。 type 否 String 资源类型。例如：博客、论坛、问答等。 title 否 String 标题。在“上传数据”时为必填项，在“更新数据”时为选填项。 description 否 String 描述。 body 否 String 内容。 author 否 String 作者。 create_time 否 String 创建时间，格式："yyyy-MM-ddTHH:mm:ss.SSSZ"。 update_time 否 String 更新时间，格式："yyyy-MM-ddTHH:mm:ss.SSSZ"。 tags 否 String 标签。 index_hot_word 否 String 索引热词。针对该资源，需要建立强关联索引词。 pic 否 String 图片。 price 否 Float 资源单价。 high_quality 否 Integer 标记：是否是优质资源。 0：否 1：是 free 否 Integer 是否免费。 0：收费 1：免费 likes 否 Integer 点赞数。 view 否 Integer 阅读数。 comment 否 Integer 评论数。 collections 否 Integer 收藏数。 focus 否 Integer 关注数。 reports 否 Integer 转发数。 fans 否 Integer 粉丝数。 stemp_count 否 Integer 踩数。 posts_count 否 Integer 回复数。 quality_score 否 Integer 质量分。 is_original 否 Integer 是否原创。 0：未知 1：原创 2：非原创

企业搜索服务 KooSearch 数据上传管理

云服务器内容精选

数据上传

7*24

备案

专业服务

退订

建议反馈

售前咨询热线