检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择集群所建的区域及使用的云资源规格,一键式购买适合企业业务的MRS集群。MRS服务会根据用户选择的集群类型、版本和节点规格,帮助客户自动完成华为云企业级大数据平台的安装部署和参数调优。 MRS服务为客户提供完全可控的大数据集群,客户在创建时可设置虚拟机的登录方式(密码或者密钥对
获取,具体使用方法在样例代码中会有详细说明。 目前样例代码统一调用LoginUtil类进行安全认证,支持Oracle JAVA平台和IBM JAVA平台。 代码示例中请根据实际情况,修改“USERNAME”为实际用户名,例如“developuser”。 private static
进入VPC服务查看已创建的VPC名称和ID。如果没有VPC,需要创建一个新的VPC。 xxx 子网 选择需要创建集群的子网,可进入VPC服务查看VPC下已创建的子网名称和ID。如果VPC下未创建子网,请单击“创建子网”进行创建。 xxx 安全组 安全组是一组对弹性云服务器的访问规
单击“保存配置”,在弹出窗口中勾选“重新启动受影响的服务或实例。”,单击“确定”重启服务。若未勾选“重新启动受影响的服务或实例。”,请手动重启受影响的服务或实例。 界面提示“操作成功”,单击“完成”,服务成功启动。 重启集群或者集群内的角色实例,会造成对应服务的业务中断,请务必在业务空闲期或者确认上层业务影响可控后,再执行本操作。
Topic需提前创建,用户可以输入指定的内容作为生产者产生的消息,输入完成后按回车发送消息。如果需要结束产生消息,使用“Ctrl + C”退出任务。 消费主题中的消息 重新打开一个客户端连接,执行以下命令消费主题中的消息。 cd /opt/client/Kafka/kafka/bin
r.properties 在3产生消息的命令行中输入指定的内容作为生产者产生的消息,输入完成后按回车发送消息。 例如: >aaa >bbb >ccc 如果需要结束产生消息,使用“Ctrl + C”退出任务。 在5的消费消息窗口中,可以观察到消息被成功消费。 aaa bbb ccc
kafka-examples Kafka流式数据的处理Java示例程序。 本工程基于Kafka Streams完成单词统计功能,通过读取输入Topic中的消息,统计每条消息中的单词个数,从输出Topic消费数据,然后将统计结果以Key-Value的形式输出。 Manager manager-examples
jetty-runner-9.4.26.v20200117.jar apache-jsp-9.4.26.v20200117.jar 启动Kylin服务,观察Kylin日志,正常情况下日志中不会再出现java.lang.NoSuchMethodException或java.lang.Cla
pc 0x00007fcda9eb8eb1 回答 上述问题在Oracle官网上有类似的情况,该问题现象是Oracle JVM的缺陷,并不是平台代码引入的问题,且Spark中有对Executor的容错机制,Executor Crash之后,Stage会进入重试,可以保证任务最终可以执行完成,不会对业务产生影响。
conf文件。具体使用方法在样例代码的“README.md”中会有详细说明。 安全认证主要采用代码认证方式。支持Oracle JAVA平台和IBM JAVA平台。 以下代码在“com.huawei.bigdata.hbase.examples”包的“TestMain”类中。 代码认证 try
keytab和krb5.conf文件获取方法请参考准备MRS应用开发用户。 安全认证主要采用代码认证方式。支持Oracle JAVA平台和IBM JAVA平台。 以下代码在“com.huawei.bigdata.hbase.examples”包的“TestMain”类中。 代码认证 try
用于实时OLAP集市数据存储和查询,提供大数据量的高效关联/聚合分析能力。 数据服务:提供数据服务API开发和开放能力,将数据集市的查询定义为数据服务接口,对上层应用提供接口化的数据服务能力。数据服务能力由DataArts Studio的DLM组件提供。 JDBC直连:Doris
配置MapReduce应用安全认证 场景说明 在kerberos认证集群环境下,各个组件之间的相互通信不能够简单的互通,而需要在通信之前进行相互认证,以确保通信的安全性。 用户在提交MapReduce应用程序时,需要与Yarn、HDFS等之间进行通信。那么提交MapReduce的
管理FlinkServer作业 配置FlinkServer重启策略 配置FlinkServer作业中使用UDF 父主题: 使用Flink
SparkStreaming消费Kafka消息失败,提示“Couldn't find leader offsets” 问题背景与现象 使用SparkStreaming来消费Kafka中指定Topic的消息时,发现无法从Kafka中获取到数据。 提示如下错误: Couldn't find
-o命令安装客户端。 如果需要安装客户端的服务器在集群内,则无需指NTP服务器模式,即执行./install.sh /opt/hadoopclient命令安装客户端。 如果需要安装客户端的服务器在集群外,且本服务器上NTP服务器模式与集群内NTP服务器模式一致,即执行./install
完善云服务安全保障体系。 安全性是华为云与您的共同责任,如图1所示。 华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS各类各项云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这
如何处理集群内部OBS证书过期 用户问题 用户在MRS集群中访问OBS服务过程中出现证书过期问题。 问题现象 MRS集群产生“ALM-12054 证书文件失效”或“ALM-12055 证书文件即将过期”告警,且告警详情中触发告警的证书为OBS证书。 图1 OBS证书即将过期告警 图2
运行环境:Windows或Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置,版本要求如下: 服务端和客户端仅支持集群自带的OpenJDK,不允许替换。 对于客户应用需引用SDK类的Jar包运行在客户应用进程中的: X86客户端: Oracle
单击“确定”完成密码修改,使用新密码重新登录Manager页面。 通过集群节点修改admin用户密码(MRS 2.x及之后版本): 更新主管理节点客户端,具体请参考服务端配置过期后更新MRS集群客户端。 登录主管理节点。 (可选)若想要使用omm用户修改密码,请执行以下命令切换用户。 sudo su - omm