检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
云数据迁移(Cloud Data Migration,CDM)提供同构/异构数据源之间批量数据迁移服务,帮助您实现数据自由流动。支持关系数据库,数据仓库,NoSQL,大数据云服务等数据源。 详细内容请参见云数据迁移。 OMS方式迁移 对象存储迁移服务(Object Storage
n配置类对ObsClient进行配置,可配置代理、连接超时、最大连接数等参数。通过ObsConfiguration可以设置的参数见下表: 参数 描述 方法 建议值 connectionTimeout 建立HTTP/HTTPS连接的超时时间(单位:毫秒)。默认为60000毫秒。 ObsConfiguration
建议值 access_key_id 访问密钥中的AK。 N/A secret_access_key 访问密钥中的SK。 N/A server 连接OBS的服务地址。可包含协议类型、域名、端口号。示例:https://your-endpoint:443。(出于安全性考虑,建议使用https协议)
资源无法释放 如果发现使用OBS Go SDK后存在OBS服务端连接未断开的情况,请检查是否正确调用了ObsClient.Close释放资源。 父主题: 异常处理(Go SDK)
ContentLength, output.LastModified) // output.Body 在使用完毕后必须关闭,否则会造成连接泄漏。 defer output.Body.Close() // 读取对象内容 p := make([]byte
配置连接与作业 在创建CDM集群中创建一个源连接和一个目的连接,分别与用户本地数据源和云端OBS连接。然后再创建CDM作业,执行从本地数据搬迁到云端OBS的任务。 启动数据传输 运行CDM作业,启动数据传输。用户可以通过作业管理界面查看作业进度。 CDM方式示例:金融大数据咨询业务数据迁移
// 前端本身没有process对象,可以使用webpack类打包工具定义环境变量,就可以在代码中运行了。 // 您可以登录访问管理控制台获取访问密钥AK/SK,获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003
您可以通过环境变量获取访问密钥AK/SK,也可以使用其他外部引入方式传入。如果使用硬编码可能会存在泄露风险。 // 您可以登录访问管理控制台获取访问密钥AK/SK String ak = System.getenv("ACCESS_KEY_ID");
容易存在漏传、误传等问题。 针对迁移第三方云厂商的对象数据至OBS的场景,华为云提供OMS服务。通过迁移服务,用户只需在控制台配置简单的连接参数以及迁移任务,即可把数据从第三方云厂商轻松、平滑地迁移至OBS。如表1所示,用户可根据适用场景、迁移速率和费用选择适合的迁移方式。 表1
资源无法释放 如果发现使用OBS Android SDK后存在内存泄露或OBS服务端连接未断开等情况,请检查是否正确调用了ObsClient.close以及ObsObject.getObjectContent.close释放资源。 父主题: 异常处理
getTransferPercentage() int 上传进度百分比。 getNewlyTransferredBytes() long 新增的字节数。 getTransferredBytes() long 已传输的字节数。 getTotalBytes() long 待传输的字节数。
dleConnTimeout int) 配置空闲的HTTP连接在连接池中的超时时间(单位:秒)。默认为30秒。 默认 WithMaxRetryCount(maxRetryCount int) 配置HTTP/HTTPS连接异常时的请求重试次数。默认为3次。 [1,5] WithProxyUrl(proxyUrl
境变量中为例,运行本示例前请先在本地环境中设置环境变量ACCESS_KEY_ID和SECRET_ACCESS_KEY_ID。 // 您可以登录访问管理控制台获取访问密钥AK/SK,获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003
背景知识 OBS采用分块上传的模式上传数据,在下列情况下(但不仅限于此)通常会导致数据上传失败而产生碎片。 网络条件较差,与OBS的服务器之间的连接经常断开。 上传过程中,人为中断上传任务。 设备故障。 突然断电等特殊情况。 文件上传失败或上传任务暂停后,都会有碎片存储在OBS中,可以
standard SP1 64-bit Windows Server 2012 standard SP1 64-bit Mac OS X10.13.3 登录Windows操作系统的用户名只允许包含数字、大小写字母。 CPU 最低配置:双核1.6GHz CPU 标准配置:双核2.4GHz CPU
ObsClient({ // 推荐通过环境变量获取AKSK,这里也可以使用其他外部引入方式传入,如果使用硬编码可能会存在泄露风险 // 您可以登录访问管理控制台获取访问密钥AK/SK,获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003
/opt/cloudera/parcels/CDH-6.0.1-1.cdh6.0.1.p0.590678/jars/ 执行如下命令,建立各目录的软连接,将hadoop-huaweicloud的jar包放入如下目录。 ln -s /opt/cloudera/parcels/CDH-6.0.1-1
在数据跨境传输场景下,由于您所在的网络环境可能处在运营商网络边缘节点,向运营商网络请求成功率比较低,所以可能会出现丢包和网络稳定性问题。 建议您先使用跨区域复制或者云连接 CC将数据传输回国,然后再从国内访问和下载数据。 父主题: 产品咨询
桶中不完整的数据称之为碎片。OBS采用分段上传的模式上传数据,在下列情况下(但不仅限于此)通常会导致数据上传失败而产生碎片。 网络条件较差,与OBS的服务器之间的连接经常断开。 上传过程中,人为中断上传任务。 设备故障。 突然断电等特殊情况。 上传失败而产生的碎片会存储在OBS中,你可以使用本章提供的方
在 "控制面板" 中,查看方式选择“类别”,依次单击"网络和Internet"、“网络和共享中心”和“更改适配器设置”。 右键单击要配置的连接,然后单击"属性 "。 单击 "Internet 协议版本 4 (TCP/IP) , 单击"属性",可查看具体的DNS服务器地址配置。 可以调整DNS服务器地址为8