检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在“hbase.coprocessor.master.classes”配置项中增加值“org.apache.hadoop.hbase.filestream.coprocessor.FileStreamMasterObserver”。
使用Flink Web页面查看Flink应用程序运行情况 Flink Web页面主要包括了Overview、Running Jobs、Completed Jobs、Task Managers、Job Manager和Logout等部分。
对于globStatus,分别匹配每个路径组件的glob模式,而对于其他的,直接匹配glob模式。
从关系型数据库导入数据到HDFS/OBS,可以不用配置数据转换,数据将按“,”分隔保存到HDFS/OBS。 从HDFS/OBS导出数据到关系型数据库,可以不用配置数据转换,数据将按“,”分隔保存到关系型数据库。
图3 Jobs 图4 Stage 图5 Task 参考信息 通过单击stdout或者stderr进入日志页面以后只会展示stdout或者stderr的日志,如果需要查看完整日志,可以通过将url里面的stdout或者stderr去掉,然后就可以直接访问这个executor的所有日志
权限要求 表1 操作权限要求 操作类型/作用对象 操作 权限要求 DATABASE CREATE DATABASE dbname [LOCATION "hdfs_path"] 如果指定了HDFS路径hdfs_path,需要是路径hdfs_path的所有者和具有RWX权限。
当前仅支持转储到OBS中。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 id String 参数解释: SQL的执行id。
$1.apply(ZkNodeChangeNotificationListener.scala:118) at kafka.common.ZkNodeChangeNotificationListener$$anonfun$purgeObsoleteNotifications$1.apply
OBS存储开启本地缓存 OBS数据存储场景可根据业务需求配置本地缓存,提升读取速率,配置单盘100GB本地缓存示例:—data_cache=/srv/BigData/data1/impala:100GB HDFS存储开启短路读 HDFS存储场景下可开启短路读,提升读取速率,具体请参考
安装补丁 安装补丁 将从OBS路径中下载的补丁(MRS_3.1.0_TROS_Tools_patch_20240430.tar.gz)工具放至主OMS节点的“/home/omm”目录下。 执行如下命令下载补丁,如果已存在,可跳过此步骤。
Upgrade Observation Period (Days) 进入升级观察期的时间(天)。 对系统的影响 升级观察期禁止对用户、实例、角色、服务、主机、资源池等执行添加或删除等影响管理拓扑结构的操作。 可能原因 系统升级之后超过一定时间(默认为10天)未做升级提交。
"); } 注意事项 当前二级索引不支持使用SubstringComparator类定义的对象作为Filter的比较器。
"); } 注意事项 当前二级索引不支持使用SubstringComparator类定义的对象作为Filter的比较器。
如何获取Spark Jar包? 华为提供开源镜像站(网址为https://mirrors.huaweicloud.com/),各服务样例工程依赖的jar包都可在华为开源镜像站下载,剩余所依赖的开源jar包请直接从Maven中央库或者其他用户自定义的仓库地址下载。 本地环境使用开发工具下载依赖的
使用Spark JobHistory2x页面访问:https://IP:port/api/v1/<appid>/jobs/。
使用Spark JobHistory2x页面访问:https://IP:port/api/v1/<appid>/jobs/。
用于创建Connection对象。
在“恢复对象”选择待操作的集群。 在“恢复配置”,勾选“元数据和其它数据”区域下的“IoTDB”。 在“路径类型”参数后选择一个备份目录的类型。 选择不同的备份目录时,对应设置如下: “LocalDir”:表示备份文件保存在主管理节点的本地磁盘上。
MRS Manager 解决RM执行refreshNodes超时导致的偶现扩容失败问题 MRS 2.0.1.1 修复问题列表: MRS Manager 解决反复扩缩容导致MRS Master节点executor内存溢出问题 MRS大数据组件 MRS Presto新增Presto支持OBSFileSystem
节点标签管理 标签是集群/节点的标识,为集群/节点添加标签,可以方便用户识别和管理拥有的集群/节点资源。MRS服务通过与标签管理服务(TMS)关联,可以让拥有大量云资源的用户,通过给云资源打标签,快速查找具有同一标签属性的云资源,进行统一检视、修改、删除等管理操作,方便用户对大数据集群及其他相关云资源的统一管理