检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
keytab”文件参考MRS组件应用安全认证说明章节获得。 “jaas-zk.conf”文件如下定义,“principal”为MRS组件应用安全认证说明中添加的认证用户名称+@+域名(域名为“krb5.conf”文件中的“default_realm”字段值,例如“HADOOP.COM”),“keyTab”为“user
Job Pipeline样例程序(Scala) 下面列出的主要逻辑代码作为演示。 完整代码请参阅: com.huawei.bigdata.flink.examples.UserSource。 com.huawei.bigdata.flink.examples.TestPipeline_NettySink。
IP Address函数 contains(network, address) → boolean 当CIDR网络中包含address时返回true。 示例: 返回true: SELECT contains('10.0.0.0/8', IPADDRESS '10.255.255.255');
Spark同时访问两个HBase样例程序开发思路 场景说明 spark支持同时访问两个集群中的HBase,前提是两个集群配置了互信。 数据规划 将cluster2集群的所有Zookeeper节点和HBase节点的IP和主机名配置到cluster1集群的客户端节点的“/etc/hosts”文件中。 分别将cluster
序。 前提条件 已安装IoTDB和Kafka客户端。 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 操作步骤 导出Jar包。 构建Jar包方式有以下两种: 方法一: 选择“Maven > 样例工程名称
elliJ IDEA导出Jar包使用的JDK版本一致。 当Linux环境所在主机不是集群中的节点时,需要在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 在Linux环境中调测Doris应用 导出Jar包。 构建Jar包方式有以下两种: 方法一:
Job Pipeline样例程序(Scala) 下面列出的主要逻辑代码作为演示。 完整代码请参阅: com.huawei.bigdata.flink.examples.UserSource。 com.huawei.bigdata.flink.examples.TestPipeline_NettySink。
Connection refused (172.16.4.200是DBService的浮动IP) DBService backup failed. 解决办法 登录DBService主节点(绑定有DBService浮动IP的master节点)。 检查 /etc/ssh/sshd_config文件中
Job Pipeline样例程序(Java) 下面列出的主要逻辑代码作为演示。 完整代码请参阅: com.huawei.bigdata.flink.examples.UserSource。 com.huawei.bigdata.flink.examples.TestPipelineNettySink。
type UNKNOWN 原因分析 FE安装节点有多个网卡IP,没有正确设置“priority_network”参数导致FE启动时匹配了错误的IP地址。 集群内多数Follower FE节点未启动,例如有3个Follower FE,只启动了一个。 处理步骤 登录FusionInsight
Job Pipeline样例程序(Java) 下面列出的主要逻辑代码作为演示。 完整代码请参阅: com.huawei.bigdata.flink.examples.UserSource。 com.huawei.bigdata.flink.examples.TestPipeline_NettySink。
Spark同时访问两个HBase样例程序开发思路 场景说明 spark支持同时访问两个集群中的HBase,前提是两个集群配置了互信。 数据规划 将cluster2集群的所有Zookeeper节点和HBase节点的IP和主机名配置到cluster1集群的客户端节点的“/etc/hosts”文件中。 分别将cluster
序。 前提条件 已安装IoTDB和Kafka客户端。 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 操作步骤 导出Jar包。 构建Jar包方式有以下两种: 方法一: 选择“Maven > 样例工程名称
haconnection import HAConnection 声明HiveServer的IP地址列表。本例中hosts代表HiveServer的节点,xxx.xxx.xxx.xxx代表业务IP地址。 hosts = ["xxx.xxx.xxx.xxx", "xxx.xxx.xxx.xxx"]
完成拓扑的提交。 前提条件 已安装Storm客户端。 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 已执行打包Storm业务步骤,打出source.jar。 操作步骤 安全模式下,请先进行安全认证。
env.execute() } } 第一个订阅者 下面代码片段仅为演示,完整代码参见FlinkPipelineScalaExample样例工程下的com.huawei.bigdata.flink.examples.TestPipeline_NettySource1: package
开发思路 1. 一个Job作为发布者Job,其余两个作为订阅者Job 2. 发布者Job自己产生数据将其转化成byte[],分别向订阅者发送 3. 订阅者收到byte[]之后将其转化成String类型,并抽样打印输出 父主题: Flink Job Pipeline样例程序
Job Pipeline样例程序(Scala) 下面列出的主要逻辑代码作为演示。 完整代码请参阅: com.huawei.bigdata.flink.examples.UserSource。 com.huawei.bigdata.flink.examples.TestPipeline_NettySink。
前提条件 已安装IoTDB客户端。 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 操作步骤 导出Jar包。 构建Jar包方式有以下两种: 方法一: 选择“Maven > 样例工程名称 > Lifecycle
Job Pipeline样例程序(Java) 下面列出的主要逻辑代码作为演示。 完整代码请参阅: com.huawei.bigdata.flink.examples.UserSource。 com.huawei.bigdata.flink.examples.TestPipelineNettySink。