云服务器内容精选

华为云首页 用户手册

MRS集群服务对接OBS示例
  • MAPREDUCE服务 MRS-配置Yarn通过Guardian访问OBS:对接OBS
    对接OBS 以客户端安装用户登录安装了Yarn客户端的节点。 执行以下命令，切换到客户端安装目录。 cd 客户端安装目录 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式，执行以下命令进行用户认证，该用户需具有OBS目录的读写权限。普通模式集群无需执行用户认证。 kinit HDFS组件操作用户 在Yarn命令行显式添加要访问的OBS文件系统。 使用以下命令访问OBS文件系统。 hdfs dfs -ls obs://OBS并行文件系统名称/路径 使用以下命令创建OBS文件系统下的目录： hdfs dfs -mkdir obs://OBS并行文件系统名称/hadoop1 执行以下Yarn任务访问OBS： yarn jar 客户端安装目录/HDFS/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar pi -Dmapreduce.job.hdfs-servers=NAMESERVICE -fs obs://OBS并行文件系统名称 1 1 其中“NAMESERVICE”为HDFS文件系统中的NameService，默认为“hdfs://hacluster”，如有多个NameService， 以“,”分割。 例如： yarn jar /opt/hadoopclient/HDFS/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar pi -Dmapreduce.job.hdfs-servers=hdfs://hacluster -fs obs://bucketname 1 1 执行以下命令写入数据到OBS： yarn jar 客户端安装目录/HDFS/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar teragen 100 obs://OBS并行文件系统名称/hadoop1/teragen1 执行以下命令将OBS下的数据复制到HDFS： hadoop distcp obs://OBS并行文件系统名称/hadoop1/teragen1 /tmp OBS文件系统打印大量日志可能导致读写性能受影响，可通过调整OBS客户端日志级别优化，日志调整方式如下： cd 客户端安装目录/Yarn/config vi log4j.properties 在文件中添加OBS日志级别配置（应用若使用自带的log4j.properties，添加同样配置即可） log4j.logger.org.apache.hadoop.fs.obs=WARN log4j.logger.com.obs=WARN 图1 添加OBS日志级别配置
    MAPREDUCE服务 MRS MRS集群服务对接OBS示例
  • MAPREDUCE服务 MRS-配置Sqoop通过IAM委托访问OBS:Sqoop使用样例
    Sqoop使用样例 通过sqoop import导入MySQL数据到HDFS sqoop import --connect jdbc:mysql://10.100.231.134:3306/test --username root --password xxx --query 'SELECT * FROM component where $CONDITIONS and component_id =" MRS 1.0_002"' --target-dir /tmp/component_test --delete-target-dir --fields-terminated-by "," -m 1 --as-textfile 通过sqoop export 导出OBS数据到MySQL sqoop export --connect jdbc:mysql://10.100.231.134:3306/test --username root --password xxx --table component14 -export-dir obs://obs-file-bucket/xx/part-m-00000 --fields-terminated-by ',' -m 1 通过sqoop import导入MySQL数据到OBS sqoop import --connect jdbc:mysql://10.100.231.134:3306/test --username root --password xxx --table component --target-dir obs://obs-file-bucket/xx --delete-target-dir --fields-terminated-by "," -m 1 --as-textfile 通过sqoop import导入MySQL数据到Hive OBS外表 sqoop import --connect jdbc:mysql://10.100.231.134:3306/test --username root --password xxx --table component --hive-import --hive-table component_test01 --fields-terminated-by "," -m 1 --as-textfile
    MAPREDUCE服务 MRS 集群服务对接OBS示例
  • MAPREDUCE服务 MRS-配置Sqoop通过IAM委托访问OBS:导入或导出数据时缺少MySQL驱动包
    导入或导出数据时缺少MySQL驱动包 若执行sqoop import或sqoop export命令报错“Could not load db driver class: com.mysql.jdbc.Driver”，如图1所示，则表示缺少MySQL驱动包，需在MySQL官网（https://downloads.mysql.com/archives/c-j/）下载对应MySQL驱动包，解压并上传至“客户端安装目录/Sqoop/sqoop/lib”目录下，再执行Sqoop导入或导出数据命令即可。 图1 缺少MySQL驱动包报错
    MAPREDUCE服务 MRS 集群服务对接OBS示例
  • MAPREDUCE服务 MRS-配置HDFS通过IAM委托访问OBS:HDFS对接OBS
    HDFS对接OBS 以客户端安装用户登录安装了HDFS客户端的节点。 执行以下命令，切换到客户端安装目录。 cd 客户端安装目录 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式，执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit 组件业务用户 在hdfs命令行显式添加要访问的OBS文件系统。 例如： 使用以下命令访问OBS文件系统。 hdfs dfs -ls obs://OBS并行文件系统名称/路径 例如，执行以下命令访问“mrs-word001”并行文件系统，返回文件列表即表示访问OBS成功，如图1所示： hadoop fs -ls obs://mrs-word001/ 图1 Hadoop验证返回文件列表 使用以下命令上传客户端节点“/opt/test.txt”文件到OBS文件系统路径下。 hdfs dfs -put /opt/test.txt obs://OBS并行文件系统名称/路径 OBS文件系统打印大量日志可能导致读写性能受影响，可通过调整OBS客户端日志级别优化，日志调整方式如下： cd 客户端安装目录/HDFS/hadoop/etc/hadoop vi log4j.properties 在文件中添加OBS日志级别配置： log4j.logger.org.apache.hadoop.fs.obs=WARN log4j.logger.com.obs=WARN 可执行以下命令查看： tail -4 log4j.properties 图2 查看日志级别
    MAPREDUCE服务 MRS 集群服务对接OBS示例
  • MAPREDUCE服务 MRS-配置HDFS通过Guardian访问OBS:对接OBS
    对接OBS 以客户端安装用户登录安装了HDFS客户端的节点。 执行以下命令，切换到客户端安装目录。 cd 客户端安装目录 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式，执行以下命令进行用户认证，该用户需具有OBS目录的读写权限。普通模式集群无需执行用户认证。 kinit HDFS组件操作用户 在HDFS命令行显式添加要访问的OBS文件系统。 例如： 使用以下命令访问OBS文件系统。 hdfs dfs -ls obs://OBS并行文件系统名称/路径 使用以下命令创建OBS文件系统下的目录： hdfs dfs -mkdir obs://OBS并行文件系统名称/hadoop 使用以下命令上传客户端节点“/opt/test.txt”文件到“obs://OBS并行文件系统名称/hadoop”路径下。 hdfs dfs -put /opt/test.txt obs://OBS并行文件系统名称/hadoop OBS文件系统打印大量日志可能导致读写性能受影响，可通过调整OBS客户端日志级别优化，日志调整方式如下： cd 客户端安装目录/HDFS/hadoop/etc/hadoop vi log4j.properties 在文件中添加OBS日志级别配置 log4j.logger.org.apache.hadoop.fs.obs=WARN log4j.logger.com.obs=WARN 图1 添加OBS日志级别
    MAPREDUCE服务 MRS MRS集群服务对接OBS示例
更多精彩内容
CDN加速 GaussDB 文字转换成语音 免费的服务器 如何创建网站 域名网站购买 私有云桌面 云主机哪个好 域名怎么备案 手机云电脑 SSL证书申请 云点播服务器 免费OCR是什么 电脑云桌面 域名备案怎么弄 语音转文字 文字图片识别 云桌面是什么 网址安全检测 网站建设搭建 国外CDN加速 SSL免费证书申请 短信批量发送 图片OCR识别 云数据库MySQL 个人域名购买 录音转文字 扫描图片识别文字 OCR图片识别 行驶证识别 虚拟电话号码 电话呼叫中心软件 怎么制作一个网站 Email注册网站 华为VNC 图像文字识别 企业网站制作 个人网站搭建 华为云计算 免费租用云托管 云桌面云服务器 ocr文字识别免费版 HTTPS证书申请 图片文字识别转换 国外域名注册商 使用免费虚拟主机 云电脑主机多少钱 鲲鹏云手机 短信验证码平台 OCR图片文字识别 SSL证书是什么 申请企业邮箱步骤 免费的企业用邮箱 云免流搭建教程 域名价格
MRS集群服务对接OBS示例

搜索反馈

您找到想要的内容了吗?

是的 没有

意见反馈

0/200

提交 取消

提交成功！非常感谢您的反馈，我们会继续努力做到更好 反馈提交失败！请稍后重试！
为您推荐
L实例 什么是云手机 云手机游戏 智能建站系统 net域名注册 PDF文字识别OCR VPS服务器 免费服务器 OBS是什么意思 CTAN镜像下载 域名是什么