检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark SQL样例程序(Scala) 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示,具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection: object
0”。编译环境因为一些配置原因导致maven未能通过os正确解析该变量时,可采用手动修改pom.xml方式进行规避正确编译。 在pom.xml中手动修改直接或间接依赖hbase-common模块的dependency,修改为如下形式,排除commons-crypto依赖。 <dependency>
在Manager页面,选择“集群 > 服务 > Oozie > 配置 > 全部配置”,修改oozie的服务配置参数“oozie.processing.timezone”值为“GMT+0800”(修改配置需要重启服务生效)。 在Oozie编辑器页面,提交Coordinator定时调度
行过滤。 单击Topic名称,进入Consumer Offsets页面,可查看Topic消费详情。 查看消费关系图。 单击“Consumers”,进入消费组详情页面。在Active Topic 处可以查看当前集群所有的消费组,以及各个Consumer Group正在消费的Topic。
Container时,分配的内存会根据任务总数的浮动自动调整,资源利用更加灵活,提高了客户端应用运行的容错性。 配置描述 参数入口: 参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称“mapreduce.job.am.memory.policy”。
将“主机IP”设置为新申请的弹性云服务器的IP地址,设置“主机端口”为“22”,并将“存放路径”设置为“/tmp”。 如果使用SSH登录ECS的默认端口“22”被修改,请将“主机端口”设置为新端口。 “保存路径”最多可以包含256个字符。 “登录用户”设置为“root”。 如果使用其他用户,请确保该用户对保存目录拥有读取、写入和执行权限。
系统未导入证书(HA根证书或者HA用户证书)、导入证书失败、证书文件失效。 处理步骤 查看告警原因 登录MRS集群详情页面,选择“告警管理”。 在实时告警列表中,单击此告警所在行。 在“告警详情”区域查看“附加信息”,获取告警附加信息。 告警附加信息中显示“CA Certificate
Manager首页,选择“运维 > 告警 > 告警”页面,查看系统是否上报“ALM-13000 ZooKeeper服务不可用”告警。 是,执行2。 否,执行4。 参考ALM-13000 ZooKeeper服务不可用对ZooKeeper服务状态异常进行处理,然后查看ZooKeeper服务的运行状态是否恢复为“良好”。
设置Eclipse的编码格式 修改样例(未开启Kerberos认证集群可跳过此步骤)。 在4获取新建开发用户的krb5.conf和user.keytab文件后,修改presto.properties中的KerberosPrincipal为对应新建用户的principal,修改KerberosC
-Djdk.tls.rejectClientInitiatedRenegotiation=true”。 修改RangerAdmin JVM的参数“GC_OPTS”值,修改方案如下: 使用Ranger的服务实例包括HDFS(NameNode)、Yarn(ResourceManag
各Region下obs-endpoint请参见终端节点及区域说明。 命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 上传脚本至OBS文件系统. 脚本完成后上传到同region的OBS文件系统中。在您选定的时机,集群各节点会从OBS将脚本下载下来并以root用户执行。
创建CDL作业 创建CDL数据同步任务作业 创建CDL数据比较任务作业 使用CDL从PgSQL同步数据到Kafka 使用CDL从PgSQL同步数据到Hudi 使用CDL从Opengauss同步数据到Hudi 使用CDL从Hudi同步数据到DWS 使用CDL从Hudi同步数据到ClickHouse
表的RWX权限。 例如: 创建好的租户为hbase,使用admin用户登录hbase shell,执行scan 'hbase:acl'命令查询租户对应的角色为hbase_1450761169920(格式为:租户名_时间戳)。 执行以下命令进行授权(如果还没有生成Phoenix系统
码,需要完成下面的操作。 操作步骤 客户端机器必须安装有Python3,其版本不低于3.6。 在客户端机器的命令行终端输入python3可查看Python版本号。如下显示Python版本为3.8.2。 Python 3.8.2 (default, Jun 23 2020, 10:26:03)
码,需要完成下面的操作。 操作步骤 客户端机器必须安装有Python3,其版本不低于3.6。 在客户端机器的命令行终端输入python3可查看Python版本号。如下显示Python版本为3.8.2。 Python 3.8.2 (default, Jun 23 2020, 10:26:03)
Manager界面,选择“集群 > 服务 > HBase > 配置 > 全部配置”,在搜索框中搜索表1中的参数,并修改对应参数值。 表1 HBase表级别过载控制参数 参数名称 参数说明 参数修改建议 hbase.ipc.server.default.callqueue.size.overload
ht Manager主机管理界面查看。 告警附加信息中显示“HA root Certificate”,查看“定位信息”获取告警所在节点主机名,以omm用户登录该主机,执行3。 告警附加信息中显示“HA server Certificate”,查看“定位信息”获取告警所在节点主机名,以omm用户登录该主机,执行4。
YARN REST API接口介绍 功能简介 通过HTTP REST API来查看更多Yarn任务的信息。目前Yarn的REST接口只能进行一些资源或者任务的查询。完整和详细的接口请直接参考官网上的描述以了解其使用: http://hadoop.apache.org/docs/r3
Carbon索引文件(.carbonindex)将合并为单个Carbon索引合并文件(.carbonindexmerge)。 这增强了首次查询性能。 参考信息 建议避免对历史数据进行minor compaction,请参考如何避免对历史数据进行minor compaction? 父主题:
Carbon索引文件(.carbonindex)将合并为单个Carbon索引合并文件(.carbonindexmerge)。 这增强了首次查询性能。 参考信息 建议避免对历史数据进行minor compaction,请参考如何避免对历史数据进行minor compaction? 父主题: