检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
范围A到Z&a到z&0到9 Boolean 范围true或者false Decimal 默认值是(10,0) ,最大值是(38,38) 说明: 当进行带过滤条件的查询时,为了得到准确的结果,需要在数字后面加上BD。例如,select * from carbon_table where num = 1234567890123456
resultDataBuffer(i) //hbase2 row if (!resultData.isEmpty) { // 查询hbase1Value var hbase1Value = "" val it = iteratorArray(i)
导入导出Hive数据库 操作场景 在大数据应用场景中,往往存在将Hive中的数据库及数据库下的所有表迁移到另一个集群上,使用Hive的导出导入数据库命令可以实现完整数据库的迁移。 本章节内容适用于MRS 3.2.0及之后版本。 Hive数据库导入导出功能目前不支持对加密表、HBa
机名信息,如未包含,需要手动复制解压目录下的“hosts”文件中的内容到客户端所在节点的hosts文件中,确保本地机器能与集群各主机在网络上互通。 父主题: 准备Flink应用开发环境
luster2的HBase meta表。 跨Manager之间的安全集群间组件互相访问,需要先配置系统互信。 以下分别阐述cluster1上使用userA访问cluster2的Hive、HBase、Kafka组件。 以下操作皆以用户使用FusionInsight客户端提交Spar
HdfsExample("/user/hdfs-examples", "test.txt"); /** * * 如果程序运行在Linux上,则需要core-site.xml、hdfs-site.xml的路径修改为在Linux下客户端文件的绝对路径 * * */
sh”后大约需要1分钟自动恢复。 使用重置后的admin用户及密码(例如Admin@123Admin@123)登录FusionInsight Manager,单击主页上的或者“更多”,单击“重启”,重启集群。 在弹出窗口中输入当前登录的用户密码确认身份,然后单击“确定”。 在确认重启集群的对话框中单击“确定
1”、“/srv/BigData/data2”、“/srv/BigData/data3”、“/srv/BigData/data4”。 节点上所部署的各组件元数据目录和数据目录按照一定映射规则分配到不同的磁盘分区目录下,各组件数据目录说明可参考表2。 表2 MRS集群节点非操作系统盘分区说明
机名信息,如未包含,需要手动复制解压目录下的“hosts”文件中的内容到客户端所在节点的hosts文件中,确保本地机器能与集群各主机在网络上互通。 准备安全认证(安全模式集群) 参考准备Flink安全认证。 父主题: 准备Flink应用开发环境
务2会不定时收到1条消息记录,消息记录该用户的名字、职业信息。实现实时的以根据业务2中消息记录的用户名字作为关键字,对两个业务数据进行联合查询的功能。 父主题: Flink开发指南(普通模式)
务2会不定时收到1条消息记录,消息记录该用户的名字、职业信息。实现实时的以根据业务2中消息记录的用户名字作为关键字,对两个业务数据进行联合查询的功能。 父主题: Flink开发指南(安全模式)
running = false } } } 生成Table1和Table2,并使用Join对Table1和Table2进行联合查询,打印输出结果。 object SqlJoinWithSocket { def main(args: Array[String]):
同分布(Colocation)功能是将存在关联关系的数据或可能要进行关联操作的数据存储在相同的存储节点上。HDFS文件同分布的特性,将那些需进行关联操作的文件存放在相同数据节点上,在进行关联操作计算时避免了到别的数据节点上获取数据,大大降低网络带宽的占用。 在使用Colocation功能之前,建议用户
等组件。 使用Ranger、Sentry或组件开源的权限能力进行权限控制。 所在Region/AZ 云上资源填写项 虚拟私有云 云上资源填写项 子网 云上资源填写项 安全组 云上资源填写项 表2 硬件信息调研表 节点组 CPU和内存信息 磁盘和网络(按节点组统计) HDFS Yarn
机名信息,如未包含,需要手动复制解压目录下的“hosts”文件中的内容到客户端所在节点的hosts文件中,确保本地机器能与集群各主机在网络上互通。 (可选)若运行Python作业,需额外配置如下:(适用于MRS 3.3.0及以后版本) 使用root用户登录flink客户端安装节点
Ranger策略为用户赋权。 若用户既没有加入用户组也没有设置角色,通过此用户登录FusionInsight Manager后,用户将无权查看或操作。 根据业务实际需要填写“描述”。 单击“确定”完成用户创建。 “人机”用户创建成功后,通常需要修改初始密码后才可以正常使用,可以使用该用户登录FusionInsight
running = false } } } 生成Table1和Table2,并使用Join对Table1和Table2进行联合查询,打印输出结果。 object SqlJoinWithSocket { def main(args: Array[String]):
HdfsExample("/user/hdfs-examples", "test.txt"); /** * * 如果程序运行在Linux上,则需要core-site.xml、hdfs-site.xml的路径修改 * 为在Linux下客户端文件的绝对路径 * *
际域名,例如props.put(KERBEROS_DOMAIN_NAME , "hadoop.hadoop1.com")。 部署运行及结果查看 导出本地jar包,请参见打包Strom样例工程应用。 获取下列jar包: 在安装好的Kafka客户端目录中进入Kafka/kafka/libs目录,获取如下jar包:
选择验证环境上有数值(int或double类型)列的表,此处选择hive.default.test1,执行如下命令验证Function Plugin。 查询表。 select * from hive.default.test1; select * from hive.default.test1;