检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS 3.3.0及之后版本,登录FusionInsight Manager页面,在“主页”右上方单击“下载客户端”,“选择客户端类型”设置为“仅配置文件”,单击“确定”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。
加密工具第一次执行时自动生成随机动态密钥并保存在“.loader-tools.key”中,加密工具每次加密密码时会使用此动态密钥。删除“.loader-tools.key”后加密工具执行时会重新生成新的随机密钥并保存在“.loader-tools.key”中。
cluster_id}/agency-mapping mrs:cluster:syncUser √ √ 获取sql执行结果 GET/v2/{project_id}/clusters/{cluster_id}/sql-execution/{sql_id} mrs:sql:get √ √ 相关链接
Action操作可以分为如下几种: 生成标量,如count(返回RDD中元素的个数)、reduce、fold/aggregate(返回几个标量)、take(返回前几个元素)。
图1 HBase系统表 如图1,分别单击“hbase:meta”、“hbase:namespace”和“hbase:acl”超链接,查看所有页面是否能正常打开。如果页面能正常打开,说明表都正常。 是,执行19。 否,执行25。
单击“ResourceManager WebUI”后的链接进入Yarn Web UI界面,在Applications页面查看当前Yarn作业的详细运行情况及运行日志。
如果需要配置SSL,truststore.jks文件生成方式可参考“Kafka开发指南 > 客户端SSL加密功能使用说明”章节。
设置并发度 env.setParallelism(1); // 解析运行参数 ParameterTool paraTool = ParameterTool.fromArgs(args); // 构造流图,将自定义Source生成的数据写入
在Linux环境调测程序 编译并生成Jar包,并将Jar包复制到与依赖库文件夹同级的目录“src/main/resources”下,具体步骤请参考在Linux调测程序。 使用集群安装用户登录集群客户端节点。
登录FusionInsight Manager,选择“集群 > 概览 > 更多 > 下载客户端”(MRS 3.3.0-LTS及之后版本,在“主页”右上方选择“更多 > 下载客户端”),“选择客户端类型”设置为“仅配置文件”,单击“确定”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压
checkpoint") // 组装Kafka的主题列表 val topicsSet = topics.split(",").toSet // 通过brokers和topics直接创建kafka stream // 1.接收Kafka中数据,生成相应
将SparkLauncher程序和用户应用程序分别生成Jar包,并上传至运行此应用的Spark节点中。 SparkLauncher程序的编译依赖包为spark-launcher_2.10-1.5.1.jar。
在MapReduce作业的Reduce阶段中,按Region的个数启动同样个数的Reduce Task,Reduce Task从Map接收数据,然后按Region生成HFile,存放在HDFS临时目录中。
单击“导出”,Manager将生成指定时间范围内、已勾选的服务资源指标报表文件,请选择一个位置保存,并妥善保管该文件。 如果需要查看指定时间范围的监控指标对应的分布曲线图,请单击“查看”,界面将显示用户自定义时间范围内选定指标的分布曲线图。 父主题: 管理MRS集群静态服务资源
MapReduce任务运行过程中在“/mr-history”、“/tmp/hadoop-yarn”、“/tmp/logs”这三个目录中生成的文件不属于有用文件。 是,执行7。 否,执行8。 用户确认丢失块所在的文件是否已备份。 是,执行8。 否,执行11。
zk.cleanup.finished.job.outdated.threshold:节点的过期时间,每个批次的任务都会生成对应节点,从当前批次任务的结束时间开始算,如果超过60分钟,则表示已经过期了,那么就清除节点。
“oozie.log”日志每小时生成一个日志压缩文件,默认保留720个(一个月的日志)。
zk.cleanup.finished.job.outdated.threshold:节点的过期时间,每个批次的任务都会生成对应节点,从当前批次任务的结束时间开始算,如果超过60分钟,则表示已经过期了,那么就清除节点。
“oozie.log”日志每小时生成一个日志压缩文件,默认保留720个(一个月的日志)。
3.3.0之前版本,登录FusionInsight Manager,选择“集群 > 概览 > 更多 > 下载客户端”,“选择客户端类型”设置为“完整客户端”,注意平台类型与待安装客户端节点的节点类型相同(x86为x86_64,ARM为aarch64),单击“确定”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压