检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对单词记录进行分类统计。 计算结果,并进行打印。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt/female/” )下。 运行任务 在
中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上(文件上传的路径需要和生成的jar包路径一致)。 若运行“Spark on
jobid 删除的Job的ID 返回结果 参数 描述 user 提交Job的用户。 status 包含Job状态信息的JSON对象。 profile 包含Job信息的JSON对象。WebHCat解析JobProfile对象中的信息,该对象因Hadoop版本不同而不同。 id Job的ID。
jobid 删除的Job的ID 返回结果 参数 描述 user 提交Job的用户。 status 包含Job状态信息的JSON对象。 profile 包含job信息的json对象。WebHCat解析JobProfile对象中的信息,该对象因Hadoop版本不同而不同。 id Job的id。
假定Hive的person表存储用户当天消费的金额信息,HBase的table2表存储用户历史消费的金额信息。 现person表有记录name=1,account=100,表示用户1在当天消费金额为100元。 table2表有记录key=1,cf:cid=1000,表示用户1的历史消息记录金额为1000元。
日志 > 下载”。 在“服务”中勾选待操作集群的“ZooKeeper”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息
作业管理类 MRS集群支持提交哪些形式的Spark作业? MRS节点访问OBS报错408如何处理? 如何让不同的业务程序分别用不同的Yarn队列? 提交作业失败,报错与OBS相关如何处理? MRS集群租户资源最小值为0时只能同时运行一个任务吗? 作业提交参数间用空格隔开导致参数信息不被识别如何处理?
在弹窗“IAM用户同步”的“待同步”页面,搜索需要同步IAM用户所在的用户组,单击对应的用户组名称。在“用户”中勾选需要同步的IAM用户,单击“同步”。 如需同步所有的用户,在“待同步”中勾选“全部同步”即可。 如只勾选“用户组”,该用户组下的用户不会同步,必须勾选“用户组”下对应的用户名称才能同步。
jobid 删除的Job的ID 返回结果 参数 描述 user 提交Job的用户。 status 包含Job状态信息的JSON对象。 profile 包含job信息的json对象。WebHCat解析JobProfile对象中的信息,该对象因Hadoop版本不同而不同。 id Job的id。
jobid 删除的Job的ID 返回结果 参数 描述 user 提交Job的用户。 status 包含Job状态信息的JSON对象。 profile 包含Job信息的JSON对象。WebHCat解析JobProfile对象中的信息,该对象因Hadoop版本不同而不同。 id Job的ID。
Source在按行读取过程中,会忽略掉每一个Event的最后一个换行符,该换行符所占用的数据量指标不会被Flume统计。 Kafka Source Kafka Source从Kafka的topic中消费数据,可以设置多个Source消费同一个topic的数据,每个Source会消费topic的不同partitions。常用配置如表
ZooKeeper”,在“配置”页签查看“clientPort”的值。 服务端topic权限配置。 将Kafka的Broker配置参数“allow.everyone.if.no.acl.found”的值修改为“true”。 安全认证。 安全认证的方式有三种:Kerberos认证、SSL加密认证和
Oozie应用开发步骤 业务分析。 可以使用客户端样例目录中MapReduce程序对日志目录的数据进行分析、处理。 将MapReduce程序的分析结果移动到数据分析结果目录,并将数据文件的权限设置成660。 为了满足每天分析一次的需求,需要每天重复执行一次1.a~1.b。 业务实现。 登录客户端所在节
Oozie应用开发步骤 业务分析。 可以使用客户端样例目录中Mapreduce程序对日志目录的数据进行分析、处理。 将Mapreduce程序的分析结果移动到数据分析结果目录,并将数据文件的权限设置成660。 为了满足每天分析一次的需求,需要每天重复执行一次1.a~1.b。 业务实现。 登录Oozie客
* from KafkaSource; Kafka端口号: 集群的“认证模式”为“安全模式”时为“sasl.port”的值,默认为“21007”。 集群的“认证模式”为“普通模式”时为“port”的值,默认为“9092”。如果配置端口号为9092,则需要配置“allow.everyone
dc=com”和“cn=krbadmin,ou=Users,dc=hadoop,dc=com”的密码,以提升系统运维安全性。 该章节仅适用于MRS 3.1.0版本。MRS 3.1.0之后版本请参考修改OMS服务配置章节。 对系统的影响 修改密码后需要重启KrbServer服务。 修改密码后需要确认LDAP管理账户“cn=krbkdc
若集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 查看ZooKeeper角色实例的IP地址。 记录ZooKeeper角色实例其中任意一个的IP地址即可。 登录安装客户端的节点。 执行以下命令,切换到客户端目录,例
启Kerberos认证的安全集群不支持Ranger组件。 图1 选择Ranger组件 选择是否开启“使用外部数据源存储元数据”功能。 开启:使用外置的MySQL数据库存储Ranger组件的User/Group/Policy等数据。 关闭:Ranger组件的User/Group/P
se集群的网络需要打通,保证两个集群ClickHouse实例节点网络可以互通。 步骤2:在目标集群配置文件中增加源集群的ZooKeeper信息 通过在目标集群的ClickHouse配置文件中添加源集群的ZooKeeper信息,将源集群中的ZooKeeper作为迁移过程中的辅助ZooKeeper。
下载”。 在“服务”中勾选待操作集群的“ClickHouse”。 在“主机”中选择异常的主机,单击“确定”。 单击右上角的时间编辑按钮,设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警