检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
manager管理面看不到Kafka新建的topic 安全集群API方式提交Spark Submit作业操作HBase表，HBase表权限控制未生效 MRS manager补丁机制优化 MRS大数据组件 Spark执行load data inpath慢 Spark建表支持列名带$字符 OBS
解决sudo提权漏洞 解决扩容刷新队列会导致队列丢失问题 MRS大数据组件 解决Hive on Spark任务报block id乱码，导致任务卡住问题 Hive中增加自研的接口 解决map.xml无法读取的问题 Hive har特性优化 解决ZK脏数据导致Yarn服务不可用问题 OBS
在“恢复对象”选择待操作的集群。 在“恢复配置”，勾选“元数据和其它数据”区域下的“IoTDB”。 在“路径类型”参数后选择一个备份目录的类型。 选择不同的备份目录时，对应设置如下： “LocalDir”：表示备份文件保存在主管理节点的本地磁盘上。
用于创建Connection对象。
HiveSql作业提交失败问题 优化keytab文件下载的权限控制 大数据组件 解决Presto角色名称包含大写字母，权限模型未生效问题 解决Hive删除分区慢的问题 解决Spark长时间运行Token过期问题 MRS 2.1.0.8 修复问题列表： MRS Manager 解决委托访问OBS
HiveSql作业提交失败问题 优化keytab文件下载的权限控制 大数据组件 解决Presto角色名称包含大写字母，权限模型未生效问题 解决Hive删除分区慢的问题 解决Spark长时间运行Token过期问题 MRS 2.1.0.8 修复问题列表： MRS Manager 解决委托访问OBS
Loader支持如下数据导入方式： 从关系型数据库导入数据到HDFS/OBS 从关系型数据库导入数据到HBase 从关系型数据库导入数据到Phoenix表 从关系型数据库导入数据到Hive表 从SFTP服务器导入数据到HDFS/OBS 从SFTP服务器导入数据到HBase 从SFTP
obs.cn-east-3.myhuaweicloud.com/MRS_Common_Script/MRS_1.9_Patch_UpdateRangerJks_All_20210203.tar.gz 上海二区域下载地址：https://mrs-patch-cn-east-2.obs.cn-east
Iceberg Iceberg原理介绍 Iceberg是一种开放的数据湖表格式，可以基于Iceberg快速地在HDFS或OBS上构建自己的数据湖存储服务。 Iceberg当前为公测阶段，若需使用需联系技术支持申请白名单开通。
对系统的影响 导致本地磁盘的部分热数据会移动到OBS上，影响系统的读写性能。 可能原因 ClickHouseServer节点冷热分离配置的本地磁盘容量过小。
克隆的作业返回参数不含有fs.obs.access.key、fs.obs.secret.key，若需要fs.obs.access.key、fs.obs.secret.key，需在“服务配置参数”中添加。 单击“确定”下发克隆作业。 作业克隆成功后，作业状态为“已完成”状态。
对系统的影响 如果一直无法获取到新的临时委托凭据，会导致在当前使用的临时委托凭据过期后，系统无法访问OBS，对于配置冷热分离策略的表无法进行OBS冷数据读写等操作。 可能原因 ClickHouse配置的OBS参数错误。 IAM服务异常。
样例程序如果指定OBS为输入输出的目标文件系统（如obs://<BucketName>/input/），需要进行以下配置。
MRS 3.0.5.1 修复问题列表： MRS Manager 解决SQL语句过长导致作业管理界面提交SparkSQL作业失败的问题 解决带有注释的SQL语句作业执行失败问题 大数据组件 解决ClickHouse集群IAM用户同步失败问题 解决集群内Flume客户端无法使用委托访问OBS
调优建议： 将ZooKeeper实例个数调整为5个及以上，可以通过设置peerType=observer来增加observer的数目。 通过控制单个任务并发的map数或减少每个节点下运行task的内存，降低节点负载。 升级ZooKeeper数据磁盘，如SSD等。
number of splits:200 16/03/03 16:44:57 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1456738266914_0005 16/03/03 16:44:57 INFO
创建或者编辑Loader作业时，在配置SFTP路径、HDFS/OBS路径、SQL的Where条件等参数时，可以使用宏定义，具体请参考配置项中使用宏定义章节。
调优建议： 将ZooKeeper实例个数调整为5个及以上，可以通过设置peerType=observer来增加observer的数目。 通过控制单个任务并发的map数或减少每个节点下运行task的内存，降低节点负载。 升级ZooKeeper数据磁盘，如SSD等。
obs.cn-east-3.myhuaweicloud.com/MRS_Common_Script/MRS_3x_Patch_Diskmgt_v2.1_20230322.tar.gz 华东-上海二：https://mrs-container1-patch-cn-east-2.obs.cn-east
执行程序路径配置为OBS上存放程序的地址。例如：obs://sparkpi/program/spark-examples_2.11-2.1.0.jar。 运行程序参数选择“--class”，值填写“org.apache.spark.examples.SparkPi”。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
