检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ClickHouse普通物化视图设计 建议 在查询方式固定的场景,建议使用物化视图加速。 物化视图创建参考如下: 明细表创建 CREATE TABLE counter ON CLUSTER default_cluster ( when DateTime DEFAULT now()
master.initializationmonitor.timeout”参数配置一个较大的值,默认值为“3600000”毫秒。 重启HBase服务。 父主题: HBase故障排除
为什么运行任务时客户端不可用 问题 当运行任务时,将MR ApplicationMaster或ResourceManager移动为D状态,为什么此时客户端会不可用? 回答 当运行任务时,将MR ApplicationMaster或ResourceManager移动为D状态(不间断
问题 为什么在Zookeeper服务器上启用安全的netty配置时,四个字母的命令不能与linux的netcat命令一起使用? 例如: echo stat |netcat host port 回答 Linux的netcat命令没有与Zookeeper服务器安全通信的选项,所以当启用安
MapReduce引擎无法查询Tez引擎执行union语句写入的数据 问题 Hive通过Tez引擎执行union相关语句写入的数据,切换到Mapreduce引擎后进行查询,发现数据没有查询出来。 回答 由于Hive使用Tez引擎在执行union语句时,生成的输出文件会存在HIVE
为什么MRS Console页面Flink作业状态与Yarn上的作业状态不一致? 问: 为什么MRS Console页面Flink作业状态与Yarn上的作业状态不一致? 答: 为了节约存储空间,用户修改了Yarn的配置项yarn.resourcemanager.max-compl
准备一个应用程序运行测试的Linux环境。 准备运行调测环境 在弹性云服务器管理控制台,申请一个新的弹性云服务器,用于应用开发、运行、调测。 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。 弹性云服务器的VPC需要与MRS集群在同一个VPC中。 弹性云服务器的网卡需要与MRS集群在同一个网段中。
导入并配置HBase样例工程 前提条件 确保本地PC的时间与MRS集群的时间差要小于5分钟。MRS集群的时间可通过MRS Manager页面右上角查看。 图1 MRS集群的时间 操作步骤 参考获取MRS应用开发样例工程获取HBase示例工程。 在HBase示例工程根目录,即HBase样例工程的“pom
导入并配置HDFS样例工程 操作场景 HDFS针对多个场景提供样例工程,帮助客户快速学习HDFS工程。 以下操作步骤以导入HDFS样例代码为例。 操作步骤 参考获取MRS应用开发样例工程,下载样例工程到本地。 导入样例工程到Eclipse开发环境。 第一种方法:打开Eclipse,选择“File
IntelliJ IDEA(版本:13.1.6) Spark不支持当客户端程序使用IBM JDK 1.7运行时,使用yarn-client模式向服务端提交Spark任务。 Oracle JDK需进行安全加固,具体操作如下。 到Oracle官方网站获取与JDK版本对应的JCE(Java Cryptography
避免客户端由于无限等待服务端的返回而挂起。使用方式如下: 在执行“DriverManager.getConnection”方法获取JDBC连接前,添加“DriverManager.setLoginTimeout(n)”方法来设置超时时长,其中n表示等待服务返回的超时时长,单位为秒
SQL和DataFrame调优 Spark SQL join优化 INSERT...SELECT操作调优 父主题: Spark应用调优
集群端口默认为21007。 登录MRS Manager,选择“服务管理 > ZooKeeper > 实例”,获取ZooKeeper的quorumpeer实例的“管理IP”地址。 登录MRS Manager,选择“服务管理 > Kafka > 实例”,获取Kafka的broker实例的“管理IP”地址。
Kafka安全接口介绍 访问开启Kerberos认证模式Kafka集群端口默认为21007,访问没有开启Kerberos认证模式集群端口默认为21005。 旧API仅支持访问9092端口;新API兼容访问没有开启Kerberos模式集群端口9092和开启Kerberos认证模式集群端口21007。
导入并配置OpenTSDB样例工程 前提条件 确保本地PC的时间与MRS集群的时间差要小于5分钟。MRS集群的时间可通过MRS Manager页面右上角查看,如图1所示。 图1 MRS集群的时间 操作步骤 参考获取MRS应用开发样例工程获取OpenTSDB示例工程。 在OpenTSDB示例工程根目录,执行mvn
开发环境:Windows系统,推荐Windows7以上版本。 运行环境:Linux系统。 安装JDK 开发和运行环境的基本配置。版本要求如下: MRS集群的服务端和客户端仅支持自带的Oracle JDK(版本为1.8),不允许替换。 对于客户应用需引用SDK类的Jar包运行在客户应用进程中的,支持Oracle
准备一个应用程序运行测试的Linux环境。 准备运行调测环境 在弹性云服务器管理控制台,申请一个新的弹性云服务器,用于用户应用程序开发、运行、调测。 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。 弹性云服务器的VPC需要与MRS集群在同一个VPC中。 弹性云服务器的网卡需要与MRS集群在同一个网段中。
HDFS Shell命令介绍 HDFS Shell 您可以使用HDFS Shell命令对HDFS文件系统进行操作,例如读文件、写文件等操作。 执行HDFS Shell的方法: 进入HDFS客户端如下目录,直接输入命令即可。例如: cd /opt/client/HDFS/hadoop/bin
Impala SQL接口介绍 Impala SQL提供对HiveQL的高度兼容性,详情请参见https://impala.apache.org/docs/build/html/topics/impala_langref.html。 父主题: Impala应用开发常见问题
使用多线程Producer发送消息 功能简介 在使用Producer API向安全Topic生产消息基础上,实现了多线程Producer,可启动多个Producer线程,并通过指定相同key值的方式,使每个线程对应向特定Partition发送消息。 下面代码片段在com.huawei