检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
<parallelism>:指定job并行度,会覆盖配置文件中配置的并行度参数。 -q,--sysoutLogging:禁止flink日志输出至控制台。 -s,--fromSavepoint <savepointPath>:指定用于恢复job的savepoint路径。 -z,--zookeeperNamespace
R_RPC_PORT”获得。 安全模式下,登录IoTDBServer所在节点的用户名和密码由FusionInsight Manager统一控制,参考准备MRS应用开发用户,确保该用户具有操作IoTDB服务的角色权限。 本端域可以在Manager界面,选择“系统 > 域与互信 > 本端域
log”日志中是否有报错,根据日志进行排查处理。 查看当前告警是否恢复。 是,操作结束。 否,执行7。 重新绑定委托 登录MapReduce服务管理控制台。 选择“现有集群”,单击集群名称,进入集群概览页面,在运维管理区域,查看集群是否绑定委托。 是,执行10。 否,执行9。 单击“选择委
关系。 通过IntelliJ IDEA可直接运行Producer.java,如图1所示: 图1 运行Producer.java 运行后弹出控制台窗口,可以查看到Producer正在向默认Topic(example-metric1)发送消息,每发送10条,打印一条日志。 图2 Producer运行窗口
false dfs.disk.balancer.auto.cron.expression HDFS 磁盘均衡操作的CRON表达式,用于控制均衡操作的开始时间。仅当dfs.disk.balancer.auto.enabled设置为true时才有效。默认值“0 1 * * 6”表
关系。 通过IntelliJ IDEA可直接运行Producer.java,如图1所示: 图1 运行Producer.java 运行后弹出控制台窗口,可以查看到Producer正在向默认Topic(example-metric1)发送消息,每发送10条,打印一条日志。 图2 Producer运行窗口
apache.hive.jdbc.HiveDriver").newInstance(); 获取JDBC连接,执行HQL,输出查询的列名和结果到控制台,关闭JDBC连接。 在网络拥塞的情况下,您还可以设置客户端与JDBCServer连接的超时时间,可以避免客户端由于无限等待服务端的返回而挂起。使用方式如下:
执行以下命令,进行用户认证。 kinit 组件业务用户 使用“kafka-acl.sh”进行用户授权常用命令如下。 查看某Topic权限控制列表: ./kafka-acls.sh --authorizer-properties zookeeper.connect=<ZooKee
eManager的端口号。 用户能看到哪个队列的任务,要看这个用户是否有这个队列的admin权限。 如果当前组件使用了Ranger进行权限控制,需基于Ranger配置相关策略进行权限管理。 运行结果: { "apps": { "app": [
关系。 通过IntelliJ IDEA可直接运行Producer.java,如图1所示: 图1 运行Producer.java 运行后弹出控制台窗口,可以查看到Producer正在向默认Topic(example-metric1)发送消息,每发送10条,打印一条日志。 图2 Producer运行窗口
";"); val url = sb.toString() 加载Hive JDBC驱动。获取JDBC连接,执行HQL,输出查询的列名和结果到控制台,关闭JDBC连接。 连接字符串中的“zk.quorum”也可以使用配置文件中的配置项“spark.deploy.zookeeper.url”来代替。
inline 通过Sql执行run compaction命令时,是否只执行压缩操作,压缩计划不存在时直接退出。 false 单表并发控制配置 表6 单表并发控制参数配置 参数 描述 默认值 hoodie.write.lock.provider 指定lock provider,不建议使用默认值,使用org
PC之间的网络连接,打通网络层面的数据传输通道。请参见VPC对等连接。 当源集群与目标集群部署在同一VPC但属于不同安全组时,在VPC管理控制台,为每个安全组分别添加安全组规则。规则的“协议”为“ANY”,“方向”为“入方向”,“源地址”为“安全组”且是对端集群的安全组。 为源集
DistCp、SQL类(SparkSQL、HiveSQL等)作业类型无法克隆。 该功能暂时仅在北京四region开放,如需体验,请联系运维人员。 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 选择“作业管理”。 在需要克隆作业的对应的“操作”列中,单击“克隆”,弹出“克隆作业”对话框。
";"); val url = sb.toString() 加载Hive JDBC驱动。获取JDBC连接,执行HQL,输出查询的列名和结果到控制台,关闭JDBC连接。 连接字符串中的“zk.quorum”也可以使用配置文件中的配置项“spark.deploy.zookeeper.url”来代替。
/hive/warehouse”。 安全模式支持创建Hive角色,普通模式不支持创建Hive角色。 如果当前组件使用了Ranger进行权限控制,须基于Ranger配置相关策略进行权限管理,具体操作可参考添加Hive的Ranger访问权限策略。 前提条件 MRS集群管理员已明确业务需求。
用户的放在一起。 这给大数据集群带来了以下挑战: 合理地分配和调度资源,以支持多种应用和作业在集群上平稳运行。 对不同的用户进行严格的访问控制,以保证数据和业务的安全。 多租户将大数据集群的资源隔离成一个个资源集合,彼此互不干扰,用户通过“租用”需要的资源集合,来运行应用和作业,
当可用资源充足时,该告警自动消除。 MRS 3.3.1及之后版本:告警模块按周期(“alarm.resource.lack.check.times.threshold”参数控制,单位:分钟)检测Yarn队列资源,当队列可用资源或队列AM(ApplicationMaster)可用资源不足时: 如果“alarm.resource
关系。 通过IntelliJ IDEA可直接运行Producer.java,如图1所示: 图1 运行Producer.java 运行后弹出控制台窗口,可以查看到Producer正在向默认Topic(example-metric1)发送消息,每发送10条,打印一条日志。 图2 Producer运行窗口
本章节适用于MRS 3.x及后续版本。 安全模式支持创建HDFS角色,普通模式不支持创建HDFS角色。 如果当前组件使用了Ranger进行权限控制,须基于Ranger配置HDFS相关策略进行权限管理,具体操作可参考添加HDFS的Ranger访问权限策略。 操作步骤 登录FusionInsight