检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
/opt/client/bigdata_env命令，初始化环境变量。 如果是安全集群，则需要执行kinit -kt <keytab file> <pricipal name> 进行认证。 执行hdfs dfs -put ./startDetail.log /tmp命令，测试HDFS写文件失败。 19/05/12
ubmit、Spark Script和Spark SQL作业。 SparkSubmit：提交Spark Jar和Spark Python程序，运行Spark Application计算和处理用户数据。 SparkScript：提交SparkScript脚本，批量执行Spark SQL语句。
2 发布时间 2020-04-22 解决的问题 MRS 2.1.0.2 修复问题列表： MRS Manager nodeagent重启后不显示监控信息 长时间提交作业，manager executor进程会内存溢出 支持提交作业，manager executor可配置并发度功能 MRS
对接OBS场景中，spark-beeline登录后指定loaction到OBS建表失败 问题 对接OBS ECS/BMS集群，spark-beeline登录后，指定location到OBS建表报错失败。 图1 错误信息 回答 HDFS上ssl.jceks文件权限不足，导致建表失败。
keyTab="/opt/test/conf/user.keytab" principal="flume_hdfs@<系统域名>" useTicketCache=false storeKey=true debug=true; }; 参数keyTab和principal根据实际情况修改。 问题：执行Flume客户端连接HBase报如下错误：
Workflow”，打开Workflow编辑器。 单击“文档”， 在操作列表中选择Hive脚本，将其拖到操作界面中。 在弹出的“HiveServer2 Script”框中, 选择之前保存的Hive脚本，关于保存Hive脚本参考在Hue WebUI使用HiveQL编辑器章节。选择脚本后单击“添加”。 配置“作业
过50MB的时候，会自动压缩，压缩后的日志文件名规则为：“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的20个压缩文件，压缩文件保留个数可以在Manager界面中配置。 表1 Flume日志列表 日志类型 日志文件名 描述 运行日志
MATCH ( SKIP TO NEXT ROW | SKIP PAST LAST ROW | SKIP TO FIRST variable | SKIP TO LAST variable
基础设施 MRS基于华为云弹性云服务器ECS构建的大数据集群，充分利用了其虚拟化层的高可靠、高安全的能力。 虚拟私有云（VPC）为每个租户提供的虚拟内部网络，默认与其他网络隔离。 云硬盘（EVS）提供高可靠、高性能的存储。 弹性云服务器（ECS）提供的弹性可扩展虚拟机，结合VPC、安全组
更多参数介绍请参见Sqoop常用命令及参数介绍。 表1 参数说明 参数 说明 --connect 指定JDBC连接的URL，格式为：jdbc:mysql://MySQL数据库IP地址:MySQL的端口/数据库名称。 --username 连接MySQL数据库的用户名。 -password 连接MySQL数据库的用户密
图2 Backup Masters基本信息 Tables页面显示了HBase中表的信息，包括User Tables、Catalog Tables、Snapshots，如图3所示。 图3 Tables基本信息 Tasks页面显示了运行在HBase上的任务信息，包括开始时间，状态等信息，如图4所示。
// Specify the table descriptor. TableDescriptorBuilder htd = TableDescriptorBuilder.newBuilder(tableName);（1）
// Specify the table descriptor. TableDescriptorBuilder htd = TableDescriptorBuilder.newBuilder(tableName);（1）
参数及参数说明 参数名称 参数说明 url jdbc:XXX://HSBroker1_IP:HSBroker1_Port,HSBroker2_IP:HSBroker2_Port,HSBroker3_IP:HSBroker3_Port/catalog/schema?serviceDiscoveryMode=hsbroker
parkSubmit，通过接口查询作业列表信息时作业类型请选择SparkSubmit。 HiveScript HiveSql DistCp，导入、导出数据。 SparkScript SparkSql Flink 默认取值： 不涉及 job_name 是 String 参数解释： 作业名称。
如何通过Yarn WebUI查看Hive作业对应的SQL语句？ 如何查看指定Yarn任务的日志？ 添加Hive服务后，提交hivesql/hivescript作业失败如何处理？ Spark Job对应的运行日志保存在哪里？ 执行Spark任务报内存不足告警如何处理？ 修改hdfs-site.x
// Specify the table descriptor. TableDescriptorBuilder htd = TableDescriptorBuilder.newBuilder(tableName);（1）
// Specify the table descriptor. TableDescriptorBuilder htd = TableDescriptorBuilder.newBuilder(tableName);（1）
设置客户端的keytab和zookeeper认证principal USER_KEYTAB_FILE = "src/main/resources/user.keytab"; ZOOKEEPER_DEFAULT_SERVER_PRINCIPAL = "zookeeper/" + getUserRealm();
org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:616) at org.apache.hadoop.ipc.RPC$Server.call(RPC
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
