检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据形成的曲线,即资源分布情况时,可以在MRS Manager上查看,支持查询1小时以内的监控数据。 用户也可以在MRS Manager上修改资源分布,使服务和主机的资源分布图表中,可以按自定义的数值显示一条或多条最高、最低监控数据形成的曲线。 部分监控指标的资源分布不记录。 查看服务监控指标的资源分布
配置SSL传输,用户主要在客户端的“flink-conf.yaml”文件中做如下配置: 打开SSL开关和设置SSL加密算法,配置参数如表2所示,请根据实际情况修改对应参数值。 表2 参数描述 参数 参数值示例 描述 security.ssl.enabled true 打开SSL总开关。 akka.ssl
Spark Structured Streaming状态操作样例程序(Scala) 功能介绍 在Spark结构流应用中,跨批次统计每个session期间发生了多少次event以及本session的开始和结束timestamp;同时输出本批次被更新状态的session。 代码样例
Spark Structured Streaming状态操作样例程序(Scala) 功能介绍 在Spark结构流应用中,跨批次统计每个session期间发生了多少次event以及本session的开始和结束timestamp;同时输出本批次被更新状态的session。 代码样例
他用户授权,以使用该租户的资源。 清晰的资源管理: 资源自主配置 MRS支持在创建租户时配置计算资源和存储资源,和进一步添加、修改、删除租户内资源。 修改租户的计算资源或存储资源,当前租户对应的角色所关联的权限将自动更新。 资源使用统计 资源使用统计是管理员获取当前集群应用和服务
(1)创建表描述符 (2)创建列族描述符 (3)添加列族描述符到表描述符中 (4)获取Admin对象,Admin提供了建表、创建列族、检查表是否存在、修改表结构和列族结构以及删除表等功能。 (5)调用Admin的建表方法。 注意事项 注[1] 可以设置列族的压缩方式,代码片段如下: //设置
uid=20038(test) gid=9998(ficommon) groups=9998(ficommon) 重新执行ImportData。 方法二:修改当前用户的属组。 将该用户添加到ficommon组中。 [root@xxx-xxx-xxx-xxx ~]# usermod -a -G ficommon
(1)创建表描述符。 (2)创建列族描述符。 (3)添加列族描述符到表描述符中。 (4)获取Admin对象,Admin提供了建表、创建列族、检查表是否存在、修改表结构和列族结构以及删除表等功能。 (5)调用Admin的建表方法。 注意事项 注[1] 可以设置列族的压缩方式,代码片段如下: //设置
Path(userdir + "hbase-site.xml"), false); return conf; } 安全登录 请根据实际情况,修改“userName”为实际用户名,例如“developuser”。 private static void login(Configuration
operations: Write from hosts: * Topic设置ACL,则不允许采用Kafka非安全端口21005来访问。 解决办法 修改或者添加自定义配置“allow.everyone.if.no.acl.found”参数为“true”,重启Kafka服务。 删除Topic设置的ACL。
x及之后版本。 使用以下方法确认系统内部用户是否被锁定: 查询oldap端口: 登录Manager,选择“系统 > OMS > oldap > 修改配置”。 “Ldap服务监听端口”参数值即为oldap端口。 查询域名方法: 登录Manager,选择“系统 > 权限 > 域和互信”。 “本端域”参数即为域名。
/bin/bash 第一次使用新添加的操作系统用户通过SSH协议登录节点时,首次输入用户密码系统提示密码过期,第二次输入用户密码后系统提示修改密码。请输入一个同时满足节点操作系统及集群密码复杂度的新密码。 父主题: MRS集群安全加固
index不能同时使用,当使用indexspecs.to.addandbuild时,索引状态为BUILDING,当索引数据完整生成后,索引状态会修改为ACTIVE。 indexspecs.to.add:表示索引名与对应数据表的列的映射(索引列定义)。 indexspecs.covered
待操作集群的名称 > 服务 > Yarn > 配置”,单击“全部配置”,单击“NodeManager > 系统”,在“GC_OPTS”参数中修改配置。 表1 参数说明 参数 描述 默认值 GC_OPTS Yarn NodeManager的GC参数。 128M 父主题: Spark Core
在“配置资源权限”的表格中选择“待操作集群的名称 > Loader > 作业连接器”。 在指定作业连接的“权限”列,勾选“编辑”。 设置Loader作业分组的编辑权限 (包括修改作业分组的名称、删除指定分组、在指定分组下创建作业的权限、从外部将作业批量导入到指定分组的权限、将其他分组的作业迁移到指定分组的权限) 在“权限”的表格中选择“
SparkLauncher类。默认提供了SparkLauncherJavaExample和SparkLauncherScalaExample示例,您需要根据实际业务应用程序修改示例代码中的传入参数。 如果您使用Java语言开发程序,您可以参考如下示例,编写SparkLauncher类。 public static
txt"); /** * * 如果程序运行在Linux上,则需要core-site.xml、hdfs-site.xml的路径修改为在Linux下客户端文件的绝对路径 * * */ private static void confLoad() throws
46 ...... 如果节点可用内存大于或等于“-Xmx”的值,则节点内存够用。如果节点可用内存小于“-Xmx”的值,则节点内存不够用。 是,修改“-XX:MaxDirectMemorySize”的配置值与“-Xmx”配置值相同。 否,适量调大“-XX:MaxDirectMemory
合理规划AM资源占比 任务数量较多且每个任务占用的资源较少时,可能会出现集群资源足够,提交的任务成功但是无法启动,此时可以提高AM的最大资源占比。 图2 修改AM最大资源百分比 父主题: Spark应用开发规范
DATE下fe.conf”中也添加该配置。 登录 FusionInsight Manager页面,选择“集群 > 服务 > 实例”,勾选3修改配置的FE节点,选择“更多 > 重启实例”重启FE实例,其他实例依旧停止状态不做操作。 观察FE启动后状态,启动成功后,在浏览器中连接此F