检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
文件进行API方式认证。 Client 客户端直接面向用户,可通过Java API、Shell API、 REST API或者Web UI访问Oozie服务端。 父主题: Oozie开发指南(普通模式)
集群详情页面页签显示完整(包含“组件管理”,“租户管理”和“备份恢复”)。 登录Manager页面。 使用admin账号登录Manager,具体请参考访问MRS集群Manager。 初始化IAM同步用户密码,具体请参考初始化MRS集群用户密码。 修改用户所在用户组绑定的角色,精确控制Mana
文件进行API方式认证。 Client 客户端直接面向用户,可通过Java API、Shell API、 REST API或者Web UI访问Oozie服务端。 父主题: Oozie开发指南(安全模式)
告警”,单击此告警所在行的。 从“定位信息”中获取“主机名”、“设备分区名”和“挂载目录名”。 确认“主机名”节点的“设备分区名”对应的磁盘是否在对应服务器的插槽上。 是,执行4。 否,执行5。 联系硬件工程师将故障磁盘在线拔出。 以root用户登录发生告警的“主机名”节点,检查“/etc/f
Processor<String, String>() { // ProcessorContext实例,它提供对当前正在处理的记录的元数据的访问 private ProcessorContext context; private
10:11,10:10::10:12]:22260 用户名 连接IoTDB数据源的IoTDB用户名。 说明: 当IoTDB所在集群为非安全模式时,需使用IoTDB默认用户“root”。 密码 连接IoTDB数据源的IoTDB用户密码。 说明: 当IoTDB所在集群为非安全模式时,
间的百分比”。Hive数据仓库空间使用率指标默认提供一个阈值范围(85%),当检测到Hive数据仓库空间使用率超过阈值范围时产生该告警。 用户可通过“运维 >告警 >阈值设置 > 待操作集群的名称 > Hive > Hive已经使用的HDFS空间占可使用空间的百分比”修改阈值。
Presto多实例 MRS支持为大规格的集群默认安装Presto多实例,即一个Core/Task节点上安装多个Worker实例,分别为Worker1,Worker2,Worker3… ,多个Worker实例共同与Coordinator交互执行计算任务,相比较单实例,能够大大提高节点资源的利用率和计算效率。
方案1: 登录Manager界面,修改Hive参数。 MRS Manager界面操作:登录MRS Manager页面,选择“服务管理 > Hive > 服务配置 > 全部配置 > HiveServer > 安全”。 FusionInsight Manager界面操作:登录FusionInsight
为了运行MRS产品Hive组件的JDBC/HCatalog接口样例代码,需要完成下面的操作。 以在Windows环境下开发JDBC/HCatalog方式连接Hive服务的应用程序为例。 HCatalog样例仅支持在Linux节点上运行。 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解
HiveServer GC时间过长或HDFS NameNode/Router RPC时延过高。 处理步骤 查看HiveServer GC时间是否过长。 登录FusionInsight Manager界面,选择“运维 > 告警 > 告警”,在告警列表中查看是否上报“Hive服务进程堆内存使用超出阈值”告警。
态枚举。 示例: status job -j 1 status job -j 1 -s create命令扩展属性 针对HDFS与SFTP服务器或RDB进行数据交换场景,MRS在开源sqoop-shell工具的基础上对create命令属性进行扩展,以达到在创建作业时指定行、列分隔符及转换步骤的目的。
WebUI的Flink作业开发界面添加自定义参数“table.optimizer.multi-join-enabled”为“true”开启MultiJoin算子功能,可参考如何创建FlinkServer作业。 SQL示例: CREATE TABLE datagen1 ( id int, f1 int,
kadmin/admin的默认密码为“KAdmin@123”,首次登录后会提示该密码过期,请按照提示修改密码并妥善保存。 执行以下命令,重置组件运行用户密码。此操作对所有服务器生效。 cpw 组件运行用户名 例如:cpw oms/manager 集群中,默认的密码复杂度要求: 密码字符长度为8~32位。 至少需要
需为MRS集群预置用户所涉及的回收站目录和其他新增的有防误删需求的用户的回收站目录配置生命周期策略。若委托权限较小或参考配置MRS集群用户的OBS的细粒度访问权限配置了MRS用户访问OBS文件系统下的目录的权限,则还需配置回收站目录的操作权限。 表1 需要配置生命周期策略的目录 集群版本 回收站目录类型 组件名称
ator,因为Set/Map的查询速率接近O(1),而Iterator是O(n)。 数据倾斜 当数据发生倾斜(某一部分数据量特别大),虽然没有GC(Gabage Collection,垃圾回收),但是task执行时间严重不一致。 需要重新设计key,以更小粒度的key使得task大小合理化。
ator,因为Set/Map的查询速率接近O(1),而Iterator是O(n)。 数据倾斜 当数据发生倾斜(某一部分数据量特别大),虽然没有GC(Garbage Collection,垃圾回收),但是task执行时间严重不一致。 需要重新设计key,以更小粒度的key使得task大小合理化。
Python SparkThriftServerJavaExample 通过JDBC访问Spark SQL的程序 Java SparkThriftServerScalaExample 通过JDBC访问Spark SQL的程序 Scala SparkOnHbaseJavaExample-AvroSource
EXT_PLUGIN=1 mysql -u数据库登录用户 -p数据库登录用户密码 -P数据库连接端口 -hDoris FE实例IP地址 数据库连接端口为Doris FE的查询连接端口,可以通过登录Manager,单击“集群 > 服务 > Doris > 配置”,查询Doris服务的“query_port”参数获取。
若存在“未启动”的角色,进入服务。 勾选未开启的实例,单击“更多”,选择“启动实例”。 若异常角色较多,可在管理操作处选择启动所有组件。 方式二: 进入集群manager页面,查看服务,是否存在“未启动”实例,若存在,启动实例。 若存在其他情况导致服务异常无法解决,请联系技术服务协助处理。