检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
e的元数据。 停止业务。 获取主NameNode的主机名。 在客户端执行如下命令: source /opt/client/bigdata_env kinit 组件用户 说明:“/opt/client”需要改为实际客户端的安装路径。 执行如下命令,让主NameNode进入安全模式,
Flink的应用程序支持使用Scala、Java两种语言进行开发。推荐使用IDEA工具,请根据指导完成不同语言的开发环境配置。Flink的运行环境即Flink客户端,请根据指导完成客户端的安装和配置。 准备本地应用开发环境 准备工程 Flink提供了样例程序,您可以导入样例工程进行程序
Flink的应用程序支持使用Scala、Java两种语言进行开发。推荐使用IDEA工具,请根据指导完成不同语言的开发环境配置。Flink的运行环境即Flink客户端,请根据指导完成客户端的安装和配置。 准备本地应用开发环境 准备工程 Flink提供了样例程序,您可以导入样例工程进行程序
Flink的应用程序支持使用Scala、Java两种语言进行开发。推荐使用IDEA工具,请根据指导完成不同语言的开发环境配置。Flink的运行环境即Flink客户端,请根据指导完成客户端的安装和配置。 准备本地应用开发环境 准备工程 Flink提供了样例程序,您可以导入样例工程进行程序
记录“LoaderServer(主)”行的“管理IP”。 以omm用户通过21获取的IP地址登录主LoaderServer所在的主机。 执行ping命令,查看主LoaderServer所在主机和依赖组件所在主机的网络连接是否正常。(依赖组件包括ZooKeeper、DBService、HDFS、M
念。 基本概念 准备开发和运行环境 ClickHouse的应用程序支持多种语言开发,主要为Java语言,推荐使用IntelliJ IDEA工具,请根据指导完成开发环境配置。 准备ClickHouse应用开发和运行环境 根据场景开发工程 提供样例工程,帮助用户快速了解ClickHouse各部件的编程接口。
字符的表。 查看MySQL是否开启bin log: 使用工具或者命令行连接MySQL数据库(本示例使用Navicat工具连接),执行show variables like 'log_%'命令查看。 例如在navicat工具选择“File > New Query”新建查询,输入如下
当集群的ResourceManager以HA方式部署时,客户端使用的“yarn-site.xml”需要配置所有ResourceManager地址。客户端(包括ApplicationMaster和NodeManager)会以轮询的方式寻找Active状态的ResourceManager,也就是说客户端需要自己提供容错机
写分布式表,数据会分发到集群的所有本地表,每个本地表插入的数据量是总插入量的1/N,batch size可能比较小,导致data part过多,merge压力变大,甚至出现异常影响数据插入; 数据的一致性问题:数据先在分布式表写入节点的主机落盘,然后数据被异步地发送到本地表所在主机进行存储,中
MRS集群内节点的登录方式如何切换? 问:MRS集群内节点的登录方式(密码或密钥对)如何切换? 答:不可以切换。创建集群时选择了节点登录方式后不能更改登录方式。 父主题: 集群管理类
行程序开发。而SparkSQL模块,支持CLI或者ThriftServer两种方式访问。其中ThriftServer的连接方式也有Beeline和JDBC客户端代码两种。 spark-sql脚本、spark-shell脚本和spark-submit脚本(运行的应用中带SQL操作),不支持使用proxy
topic); this.zkRoot = zkRoot; this.id = id; } 其中“hosts”是ZooKeeper的连接串,如:192.168.0.1:2181/kafka,“topic”是待消费的Topic名,“zkRoot”表示在ZooKeeper中的存
为单个Region构建索引是为了修复损坏的索引,此功能不应用于生成新索引。 创建HBase HIndex 安装HBase客户端,详情参见HBase客户端使用实践。 以客户端安装用户,登录安装客户端的节点。 进入客户端安装路径,例如“/opt/client” cd /opt/client 配置环境变量。 source
conf 两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 编译打包前,样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。例如:“/opt/female/user
开发和运行环境的基本配置,版本要求如下: 服务端和客户端仅支持集群自带的OpenJDK,不允许替换。 对于客户应用需引用SDK类的Jar包运行在客户应用进程中的: X86客户端: Oracle JDK:支持1.8版本; IBM JDK:支持1.8.0.7.20和1.8.0.6.15版本。 ARM客户端: OpenJDK:支持1
log-aggregator.on-fail.remain-log-in-sec 设置Container日志归集失败后日志在本地保留的时间。单位:秒。 设置为0时,本地日志将马上删除。 设置为正数时,表示本地日志将保留这段时间。 604800 参考修改集群服务配置参数进入Mapreduce服务参数“全部配
通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上(文
通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上(文件上
排查当前是否发生过或仍存在Hue服务相关告警。 处理步骤 登录FusionInsight Manager检查是否存在网络故障、时钟跳变或Hue服务相关的告警,若存在问题则联系管理员进行处理,重试打开Hue页面确认是否正常。 是,处理结束。 否,执行2。 获取当前工作的Httpd服务器地址,为打开Hue页面URL
Spark的应用程序支持使用Scala、Java、Python三种语言进行开发。推荐使用IDEA工具,请根据指导完成不同语言的开发环境配置。Spark的运行环境即Spark客户端,请根据指导完成客户端的安装和配置。 准备本地应用开发环境 准备工程 Spark提供了不同场景下的样例程序,您可以导入样例