检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
操作步骤 参考获取MRS应用开发样例工程获取HBase示例工程。 在HBase示例工程根目录,即HBase样例工程的“pom.xml”层目录下,打开cmd命令行窗口,执行mvn install编译。 在2中打开的cmd命令行窗口中,执行mvn eclipse:eclipse创建Eclipse工程。
PLAINTEXT 支持无认证的明文访问。 获取参数“port”的值,默认为9092。 SASL_PLAINTEXT 支持Kerberos认证的明文访问。 获取参数“sasl.port”的值,默认为21007。 SSL 支持无认证的SSL加密访问。 获取参数“ssl.port”的值,默认为9093。
--zookeeper quorumpeer实例IP地址:ZooKeeper客户端连接端口/kafka --replication-factor 1 --partitions 1 --topic Topic名称 quorumpeer实例IP地址可登录集群的FusionInsight Manager界面,在“集群
--zookeeper quorumpeer实例IP地址:ZooKeeper客户端连接端口/kafka --replication-factor 1 --partitions 1 --topic Topic名称 quorumpeer实例IP地址可登录集群的FusionInsight Manager界面,在“集群
/ -rlth 图1 查看备份文件 原因分析 查看DBService的备份日志/var/log/Bigdata/dbservice/scriptlog/backup.log,其实备份已经成功,只是上传至OMS节点时失败。 失败原因是由于ssh不通。 解决办法 网络问题,联系网络工程师处理。
如何在导入Hive表时指定输出的文件压缩格式? 处理步骤 当前Hive支持以下几种压缩格式: org.apache.hadoop.io.compress.BZip2Codec org.apache.hadoop.io.compress.Lz4Codec org.apache.hadoop.io.compress
loadBalancerIPList - 必填参数,配置为LoadBalance的IP列表。 登录FusionInsight Manager,选择“集群 > 服务 > ClickHouse > 实例”,查看所有ClickHouseBalancer实例对应的业务IP地址。 多个IP地址使用逗号分隔,例如配置为“10
loadBalancerIPList - 必填参数,配置为LoadBalance的IP列表。 登录FusionInsight Manager,选择“集群 > 服务 > ClickHouse > 实例”,查看所有ClickHouseBalancer实例对应的业务IP地址。 多个IP地址使用逗号分隔,例如配置为“10
在集群外节点运行PrestoJDBCExample缺少证书 问题 presto-examples-1.0-SNAPSHOT-jar-with-dependencies.jar在集群内节点运行时正常,但在集群外节点运行PrestoJDBCExample连接开启Kerberos认证的集群缺少证书,报错如下: java
含义 loadBalancerIPList - 必填参数,配置为LoadBalance的IP列表。 登录Manager,选择“集群 > 服务 > ClickHouse > 实例”,查看所有ClickHouseBalancer实例对应的业务IP地址。 多个IP地址使用逗号分隔,例如配置为“10
含义 loadBalancerIPList - 必填参数,配置为LoadBalance的IP列表。 登录Manager,选择“集群 > 服务 > ClickHouse > 实例”,查看所有ClickHouseBalancer实例对应的业务IP地址。 多个IP地址使用逗号分隔,例如配置为“10
通过数据应用访问Alluxio 访问Alluxio文件系统的端口号是19998,即地址为alluxio://<alluxio的master节点ip>:19998/<PATH>,本节将通过示例介绍如何通过数据应用(Spark、Hive、Hadoop MapReduce和Presto)访问Alluxio。
平台中执行任意代码。 预防与建议 在产品未发布对应解决方案前,建议您参考以下的相关预防措施。 加固物理设备安全边界,防止外网直接访问及攻击内网管理平面。 排查平台各组件节点是否使用默认密码,如果有,建议修改新密码。 加强环境管理面账户密码管控,确保不泄露不扩散。 部分安全厂商已经
Server的地址是从ZooKeeper中自动获取,当ZooKeeper连接认证异常时,无法从ZooKeeper中获取正确的HiveServer地址。 在连接zookeeper认证时,需要客户端传入krb5.conf,principal,keytab等相关信息。认证失败有如下几种:
batchNum=10 #ip:port。安全模式下https端口,普通模式下http端口 clickhouse_dataSource_ip_list= #ip:tcp port native_dataSource_ip_list=ip:port,ip:port,ip:port 在Demo
ClickHouse样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下ClickHouse相关样例工程:
ClickHouse样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下ClickHouse相关样例工程:
DBService组件会对“${BIGDATA_HOME}/MRS_XXX/install/dbservice/ha/module/harm/plugin/script/gsDB/.startGS.fail”这个文件监控。其中XXX是产品版本号。 如果这个文件中的值大于3就会启动失败,NodeAgent
kafka-console-consumer.sh --topic <topic name> --bootstrap-server <IP1:PORT, IP2:PORT,...> --new-consumer --consumer.config <config file> 业务代码排查:
Base,将要获取的数据的rowKey构造成rdd,然后通过HBaseContext的bulkGet接口获取对HBase表上这些rowKey对应的数据。 数据规划 基于BulkPut接口使用章节中创建的HBase表及其中的数据进行操作。 开发思路 创建包含了要获取的rowkey信息的RDD。