检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备本地应用开发环境 选择Windows开发环境下,安装Eclipse,安装JDK。 JDK使用1.8版本,Eclipse使用4.3.2及以上版本。 若使用IBM JDK,请确保Eclipse中的JDK配置为IBM JDK。
配置MapReduce shuffle address 配置场景 当MapReduce shuffle服务启动时,它尝试基于localhost绑定IP。如果需要MapReduce shuffle服务连接特定IP,可以参考该章节进行配置。
SparkScript:提交SparkScript脚本,批量执行Spark SQL语句。 Spark SQL:使用Spark提供的类似SQL的Spark SQL语句,实时查询和分析用户数据。 Hive:建立在Hadoop基础上的开源的数据仓库。
="flume_hdfs@<系统域名>" useTicketCache=false storeKey=true debug=true; }; 其中keyTab和principal的值请按照实际情况配置,所配置的principal需要有相应的kafka的权限。
="flume_hdfs@<系统域名>" useTicketCache=false storeKey=true debug=true; }; 其中keyTab和principal的值请按照实际情况配置,所配置的principal需要有相应的kafka的权限。
若使用IBM JDK,请确保Eclipse或者IntelliJ IDEA中的JDK配置为IBM JDK。 若使用Oracle JDK,请确保Eclipse或者IntelliJ IDEA中的JDK配置为Oracle JDK。
shkafka-topics.sh --list --zookeeper <ZooKeeper集群IP:2181/kafka> shkafka-topics.sh --list --bootstrap-server <Kafka集群IP:21007> --command-config
shkafka-topics.sh --list --zookeeper <ZooKeeper集群IP:2181/kafka> shkafka-topics.sh --list --bootstrap-server <Kafka集群IP:21007> --command-config
配置MapReduce shuffle address 配置场景 当MapReduce shuffle服务启动时,它尝试基于localhost绑定IP。如果需要MapReduce shuffle服务连接特定IP,可以参考该章节进行配置。
解决步骤 检查工程conf目录下“producer.properties”中配置的“bootstrap.servers”配置值中访问的IP和端口是否正确: 如果IP与Kafka集群部署的业务IP不一致,那么需要修改为当前集群正确的IP地址。
解决步骤 检查工程conf目录下“producer.properties”中配置的“bootstrap.servers”配置值中访问的IP和端口是否正确: 如果IP与Kafka集群部署的业务IP不一致,那么需要修改为当前集群正确的IP地址。
回答 MRS集群外部的节点,推荐配置镜像源后,直接使用pip安装impala-shell客户端。
bin/kafka-topics.sh --list --zookeeper <ZooKeeper集群IP:2181/kafka> bin/kafka-topics.sh --list --bootstrap-server <Kafka集群IP:21007> --command-config
bin/kafka-topics.sh --list --zookeeper <ZooKeeper集群IP:2181/kafka> bin/kafka-topics.sh --list --bootstrap-server <Kafka集群IP:21007> --command-config
选择当前集群所在VPC下的其他子网,即可实现可用子网IP的扩充。 新增子网不会影响当前已有节点的IP地址和子网。 父主题: 产品咨询类
runlog:“/var/log/Bigdata/loader/runlog”(运行日志) scriptlog:“/var/log/Bigdata/loader/scriptlog/”(脚本的执行日志) catalina:“/var/log/Bigdata/loader/catalina
runlog:“/var/log/Bigdata/loader/runlog”(运行日志) scriptlog:“/var/log/Bigdata/loader/scriptlog/”(脚本的执行日志) catalina:“/var/log/Bigdata/loader/catalina
设置Eclipse的文本文件编码格式,解决乱码显示问题。 在Eclipse的菜单栏中,选择“Window > Preferences”。 弹出“Preferences”窗口。
登录到MRS集群装有ClickHouse客户端的节点,执行如下命令: su - omm source {客户端安装目录}/bigdata_env kinit 组件用户(普通集群无需执行kinit命令) clickhouse client --host clickhouse实例节点IP
图1 添加访问MRS Manager的安全组规则 若用户创建集群时暂未绑定弹性公网IP,如图2所示: 在弹性公网IP下拉框中选择可用的弹性公网IP或单击“管理弹性公网IP”购买弹性公网IP。 选择待添加的安全组规则所在安全组,该安全组在创建群时配置。