检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
sh 登录客户端安装节点,通过Hive客户端查看数据库,确认对接成功。 source 客户端安装路径/bigdata_env kinit 组件业务用户 beeline show databases;desc database default; !q 通过Spark客户端,查看数据库,
区、实例列表区和监控图表等。 表4 主机详情 展示项 说明 基本信息区 主机详情页面的基本信息包含该主机的各个关键信息,例如管理IP地址、业务IP地址、主机类型、机架、防火墙、CPU核数、操作系统等信息。 磁盘状态区 磁盘状态区包含了该主机所有为集群配置的磁盘分区,并显示每个磁盘分区的使用情况。
WebUI界面。 在首页中单击“KAFKA”区域的组件插件名称如“Kafka”。 单击“Add New Policy”,添加Kafka权限控制策略。 根据业务需求配置相关参数。 表1 Kafka权限参数 参数名称 描述 Policy Type Access。 Policy Conditions
IP地址:可登录FusionInsight Manager界面,选择“集群 > 服务 > Yarn > 实例”查看任一ResourceManager的业务IP获取。 端口:ResourceManager的HTTP端口。可登录FusionInsight Manager界面,选择“集群 > 服务
get(0) total = udfState.getState } } 应用代码 该段代码是流图定义代码,具体实现业务流程,另外,代码中窗口的触发时间使用了event time。 下面代码片段仅为演示,完整代码参见FlinkCheckpointScalaExample样例工程下的com
目录。 进入客户端安装目录“/opt/client”,执行下列命令初始化环境变量。 source bigdata_env kinit 组件业务用户 kinit一次票据时效24小时。24小时后再次运行样例,需要重新kinit。 与HTTP服务访问相比,以HTTPS方式访问Yarn时
执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit 组件业务用户 执行以下命令,获取Flink集群container信息。 yarn logs -applicationId application_*
list.get(0) total = udfState.getState } } 应用代码 该段代码是流图定义代码,具体实现业务流程,另外,代码中窗口的触发时间使用了event time。 1 2 3 4 5 6 7 8 9 10 11 12 13
security.credentials.hbase.enabled”设置为“true”(该参数值默认为“false”,改为“true”后对已有业务没有影响。如果要卸载HBase服务,卸载前请将此参数值改回“false”),将配置项“spark.inputFormat.cache.enabled”设置为“false”。
表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统。 运行环境:Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置,版本要求如下: 服务端和客户端仅支持集群自带的OpenJDK,不允许替换。 对于客户
security.credentials.hbase.enabled”设置为“true”(该参数值默认为“false”,改为“true”后对已有业务没有影响。如果要卸载HBase服务,卸载前请将此参数值改回“false”),将配置项“spark.inputFormat.cache.enabled”设置为“false”。
security.credentials.hbase.enabled”设置为“true”(该参数值默认为“false”,改为“true”后对已有业务没有影响。如果要卸载HBase服务,卸载前请将此参数值改回“false”),将配置项“spark.inputFormat.cache.enabled”设置为“false”。
security.credentials.hbase.enabled”设置为“true”(该参数值默认为“false”,改为“true”后对已有业务没有影响。如果要卸载HBase服务,卸载前请将此参数值改回“false”),将配置项“spark.inputFormat.cache.enabled”设置为“false”。
security.credentials.hbase.enabled”设置为“true”(该参数值默认为“false”,改为“true”后对已有业务没有影响。如果要卸载HBase服务,卸载前请将此参数值改回“false”),将配置项“spark.inputFormat.cache.enabled”设置为“false”。
执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit 组件业务用户 执行以下命令,获取Flink集群container信息。 yarn logs -applicationId application_*
ZooKeeper > 实例”。 选择任一节点,将该节点对应的EIP填入主机框中(如果使用的是Windows云服务器,并且与集群的网络是通的,直接填写节点的业务IP地址即可)。 图11 配置主机 单击“测试连接”,如图10 测试连接所示表示对接成功,单击“确定”。 图12 测试连接 以客户端安装用
创建hetu_user用户。 在集群中创建“人机”用户,如hetu_user,可参考创建HetuEngine用户。启用Ranger鉴权的集群需根据业务需求为该hetu_user添加Ranger权限,可参考添加HetuEngine的Ranger访问权限策略。 创建HetuEngine计算实例。
balance_switch true balancer_enabled 执行balancer命令手动触发负载均衡。 建议打开和手动触发负载均衡操作在业务低峰期进行。 FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > HBase”,单击“HMas
创建一批新的locators,并重新规划数据存放方式。 旧的locators使用的是旧的数据节点,而新创建的locators偏重使用新的数据节点,所以需要根据实际业务对数据的使用需求,重新规划locators的使用。 一般的,建议用户在进行集群扩容之后采用策略一来重新分配locators,可以避免数据偏重使用新的数据节点。
如果当前集群已启用Kerberos认证如果当前集群为安全集群,执行以下命令认证当前用户,当前用户需要具有读写HBase表的权限和HDFS的操作权限: kinit 组件业务用户 如果当前集群未启用Kerberos认证,则执行以下命令设置Hadoop用户名: export HADOOP_USER_NAME=hbase