正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
'Level' => WARN // 配置日志级别 ]); 日志功能默认是关闭的,需要主动开启。 使用FilePath参数配置日志文件路径,可配置相对路径或绝对路径。 日志内容格式 SDK日志格式为:日志时间|日志级别|打印日志所的代码行数|日志内容。示例如下: [2017-11-17 1
arcDir 附加参数,可选 上传文件成功后的归档路径,上传成功后的文件会移动到该路径下。 dryRun 附加参数,可选 测试模式运行,不执行实际的上传操作。 link 附加参数,可选 上传软链接文件/文件夹指向的真实路径。 须知: 如果未指定该参数,而待上传的文件是一个软链
arcDir 附加参数,可选 上传文件成功后的归档路径,上传成功后的文件会移动到该路径下。 dryRun 附加参数,可选 测试模式运行,不执行实际的上传操作。 link 附加参数,可选 上传软链接文件/文件夹指向的真实路径。 须知: 如果未指定该参数,而待上传的文件是一个软链
gz到/opt/datax目录。 在Github下载hadoop-huaweicloud:下载地址。(建议使用hadoop 2.8.3版本下最新版本的hadoop-huaweicloud版本,例如hadoop-huaweicloud-2.8.3-hw-53.8,以最新版本为准)
OBS,配合使用优点如下: 在访问对象存储时会选择更优的流量路径,能支持更大的峰值带宽。 可以支持配置VPC访问配置,提升对象存储访问的安全性。 购买VPCEP终端节点的影响: 在购买VPCEP终端节点后,由于流量路径的切换会导致后端处理请求的节点发生切换,正在建立连接和已经建立
配置是否将日志打印到console }); 日志功能默认是关闭的,需要主动开启。 使用file_full_path参数配置日志文件路径,可配置相对路径或绝对路径。 日志内容格式 SDK日志格式为:日志时间|日志级别|调用接口|日志内容。示例如下: 2017/10/12 10:21:05
在指定的桶内创建文件夹时必选 桶名。 folder 在指定的桶内创建文件夹时必选 桶内的文件夹路径,支持多级文件夹,以“/”分隔。 folder_url 在本地文件系统路径中创建文件夹时必选 本地文件系统中的文件夹路径,支持绝对路径和相对路径。 config 附加参数,可选 运行当前命令时的自定义配置文件,可支持的配置参数请参考配置参数说明。
log(result.InterfaceResult.Content); } } }); 文本下载方式下返回结果中的InterfaceResult.Content是一个String对象。 父主题: 下载对象
obs://bucket [-f] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] macOS/Linux操作系统 ./obsutil rm obs://bucket [-f] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx]
大数据场景下使用OBS实现存算分离 方案概述 操作流程 对接大数据平台 对接大数据组件 迁移HDFS数据至OBS
当涉及多文件/文件夹时,如需确认失败任务的具体错误信息,可参考结果清单文件夹下的失败结果清单文件"rm_failed_report_时间_TaskId.txt"及日志路径下的日志文件; config 附加参数,可选 运行当前命令时的自定义配置文件,可支持的配置参数请参考配置参数说明。 e 附加参数,可选 指定终端节点。
DVANCED配置项中修改mapred-site.xml文件中的mapreduce.application.classpath配置项,添加路径为/usr/hdp/3.0.1.0-187/hadoop-mapreduce/*。 重启MapReduce2集群。 增加Hive对接OBS的jar包
的具体错误信息,可参考结果清单文件夹下的失败结果清单文件"chattri_failed_report_时间_TaskId.txt"及日志路径下的日志文件; j 附加参数,批量设置对象属性时可选 批量设置对象属性的最大并发数,默认为配置文件中的defaultJobs。 说明: 工具会保证该值至少为1。
6%的企业已经成立或计划成立相关的大数据分析部门;超过六成的企业在扩大大数据的投入力度。对各行业来讲,大数据的使用能力成为未来取得竞争优势的关键能力之一。 在大数据场景下,数据已成为新资产,智能已成为新生产力。企业迫切需要完成数字化转型,提高生产力,使数据资产发挥最大价值。而传统企业在业务未上云之前,业务部署
步骤三:下载对象 当对象上传至桶后,您可以将对象下载至浏览器默认保存路径或本地指定路径。 在对象列表页,找到已上传的对象。 下载对象。 下载单个对象 单击待下载对象右侧操作列的“下载”,将对象下载至浏览器默认保存路径。 批量下载多个对象: 选中多个对象,然后单击对象列表页搜索框上方的“更多
【说明】 对于对象资源,IAM自动生成资源路径前缀obs:*:*:object: 通过桶名称/对象名称指定具体的资源路径,支持通配符*。例如: obs:*:*:object:my-bucket/my-object/*表示my-bucket桶下my-object目录下的任意对象。 o
72c5ac1c-68c0-4206-95d6-18a193bfa77e 使用dir /b /s 查看test路径下的所有文件和文件夹以及子目录下的文件,发现只保留了文件夹TEST\和文件TEST\foo.txt。 在该场景下本地文件不一定对应原始OBS文件,在这个例子中,本地TEST\foo.txt 是云上TEST/FOO
obsutil不支持直接统计文件夹中的对象数量和大小,您可以进行列举对象。 查询文件夹大小 以Linux操作系统为例,运行./obsutil ls obs://bucket-test/test/ -du -limit=0命令,查询桶bucket-test下test文件夹的大小。 ./obsutil ls obs://bucket-test/test/
支持多个FTP客户端挂载使用。一般4核8GB内存的X86服务器可支撑200个以上客户端同时操作。 多操作系统支持:支持32/64位Windows、Linux和Mac操作系统。 obsftp对操作系统的版本要求依赖于安装的Python版本,Python版本要求为2.7.9及以上的2.7系列。
暂不支持配置桶默认存储类型 不支持深度归档,支持标准、低频和归档 暂不支持专属对象存储场景 暂不支持DWR数据工坊对接 并行文件系统可以挂载至多个Linux服务器实现并行读,但不建议使用此方法并发写。 性能限制 并行文件系统每TB默认提供最大带宽10MB/s。 命名限制 对并行文件系统的文件