检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
top 运行集群利用率监控工具。 -Dmapreduce.job.hdfs-servers 如果对接了OBS,而服务端依然使用HDFS,那么需要显式在命令行使用该参数指定HDFS的地址。格式为hdfs://{NAMESERVICE}。
MRS普通集群,在console页面提交作业时,会使用master节点上预置安装的客户端进行作业提交。
数据导入集群后,就可以继续基于大数据平台上层应用对数据进行分析处理了。 父主题: 数据迁移
点数据由二维空间中的点的集合组成。点可以存储为一对经纬度。 区域数据:一个区域有空间范围,有位置和边界。位置可以看作是一个定点在区域内的位置,例如它的质心。在二维中,边界可以可视化为一条线(有限区域,闭环)。区域数据包含一系列区域。 目前仅限于支持点数据,存储点数据。
如果Worker的数量大于10个,实例滚动重启的时间可能会超过200分钟,期间请勿做其他运维操作。
“人机”用户:用于在FusionInsight Manager的操作运维场景,以及在组件客户端操作的场景。选择该值需同时填写“密码”和“确认密码”。 “机机”用户:用于应用开发的场景。选择该值用户密码随机生成,无需填写。 密码 选择“人机”用户需填写“密码”。
numberOfSubscribedJobs:为订阅本NettySink的作业数量,该数量必须是明确的,只有当所有订阅者都连接上NettySink,NettySink才发送数据。
numberOfSubscribedJobs:为订阅本NettySink的作业数量,该数量必须是明确的,只有当所有订阅者都连接上NettySink,NettySink才发送数据。
HBase服务增加了MetricController实例,开启热点检测能力,能够监控每个RegionServer节点的请求流量,通过聚合分析,识别出请求偏高的节点和Region,有助于快速发现热点问题;并提供一定的热点问题自愈能力,比如热点Region自动转移或Split。
*.current Loader进程gc日志 sqoopInstanceCheck.log Loader实例健康检查日志 审计日志 default.audit Loader操作审计日志(例如:作业的增删改查、用户的登录)。
numberOfSubscribedJobs:为订阅本NettySink的作业数量,该数量必须是明确的,只有当所有订阅者都连接上NettySink,NettySink才发送数据。
numberOfSubscribedJobs:为订阅本NettySink的作业数量,该数量必须是明确的,只有当所有订阅者都连接上NettySink,NettySink才发送数据。
开启日志记录开关之后将自动收集集群创建失败、扩/缩容失败等场景下的系统日志及相关组件运行日志到OBS文件系统中,该日志用于运维人员快速定位问题。 该日志信息将最多保留7天。
准备集群配置文件 集群创建成功后,登录FusionInsight Manager创建用于提交Flink作业的集群用户。 选择“系统 > 权限 > 用户 > 添加用户”,在新增用户界面创建一个人机用户,例如sparkuser。
若出现集群使用问题请联系运维人员支撑处理。 配置示例:参照方案一中示例,配置策略为“允许”,目的地址为通信安全授权地址、NTP、OBS、Openstack及DNS地址的出方向规则。 父主题: 管理MRS集群
main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // 设置作业的并发度为
main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // 设置作业的并发度为
main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // 设置作业的并发度为
提交作业时,建议使用默认spark on yarn(即5中的--master yarn-client)模式。开源支持spark standalone模式提交,但不推荐使用,该模式资源使用率低,并且使用HTTP,可能存在安全风险。
sparknormal-examples/SparkPythonExample sparknormal-examples/SparkSQLJavaExample sparknormal-examples/SparkLauncherJavaExample 使用Spark Launcher提交作业的