检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
// 加载Hive JDBC驱动 Class.forName(HIVE_DRIVER); 获取JDBC连接,确认HQL的类型(DDL/DML),调用对应的接口执行HQL,输出查询的列名和结果到控制台,关闭JDBC连接。
对系统的影响 Flink服务不可用会导致FlinkServer和Flink客户端提交Flink作业功能无法正常使用。 可能原因 Flink服务依赖的ZooKeeper、HDFS、Yarn、KrbServer或DBService服务不可用。
聚合端存在多个节点时,连接配置尽量配置均衡,不要聚合到单节点上。 Flume客户端可以包含多个独立的数据流,即在一个配置文件properties.properties中配置多个Source、Channel、Sink。这些组件可以链接以形成多个流。
当客户端所在的DataNode节点有RAM_DISK,但“dfs.datanode.max.locked.memory”参数值未设置或设置过小(小于“dfs.blocksize”参数值)时(对应参数值可登录Manager,选择“集群 > 服务 > HDFS > 配置 > 全部配置”
当客户端所在的DataNode节点有RAM_DISK,但“dfs.datanode.max.locked.memory”参数值未设置或设置过小(小于“dfs.blocksize”参数值)时(对应参数值可登录Manager,选择“集群 > 服务 > HDFS > 配置 > 全部配置”
名称:连接属性名 值:连接属性值 名称:socketTimeout 值:20 说明: 登录FusionInsight Manager,选择“集群 > 服务 > MOTService > 配置 > 全部配置”,搜索参数“REQUIRE_SSL”如果参数值为“true”,此时需要添加名称为
操作步骤 使用cdluser用户登录FusionInsight Manager(首次登录需要修改密码),选择“集群 > 服务 > CDL”,单击“CDLService UI”右侧的超链接,进入CDLService WebUI界面。
当用户需要通过shell脚本来更新与运行Loader作业时,必须对已安装的Loader客户端进行配置。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的目录、HBase表和数据。
操作示例 以Hive客户端安装用户登录安装客户端的节点。 执行以下命令,切换到客户端安装目录,配置环境变量并认证用户。 cd 客户端安装目录 source bigdata_env kinit Hive业务用户 执行以下命令登录Hive客户端。
登录客户端所在节点并执行以下命令: cd /opt/{MRS补丁版本号}/client sh upgrade_client.sh rollback {客户端安装目录} 例如: sh upgrade_client.sh rollback /opt/client/ 回退组件安装包 若安装时执行了升级组件安装包步骤
43006告警 在spark-beeline中创建或删除表失败 集群外节点提交Spark作业时报错无法连接Driver 运行Spark任务发现大量shuffle结果丢失 JDBCServer长时间运行导致磁盘空间不足 spark-shell执行SQL跨文件系统load数据到Hive
答: 以“RegionServer级别操作请求次数”监控项为例: 登录FusionInsight Manager,选择“集群 > 服务 > HBase > 资源”,在该界面即可查看“RegionServer级别操作请求次数”图表,选中“all”,则显示当前集群所有RegionServer
使用S3表函数 登录主OMS节点。 执行以下命令获取OBS内的存储数据。
以在Windows环境下开发JDBC方式连接Impala服务的应用程序为例。 操作步骤 参考获取MRS应用开发样例工程,获取Impala示例工程。
hadoop-plugins-xxx.jar包一般在HDFS客户端目录下:$HADOOP_HOME/share/hadoop/common/lib/hadoop-plugins-xxx.jar 方式二:将HDFS的如下配置项修改为开源类。
以客户端安装用户登录安装客户端的节点。 执行以下命令,配置环境变量。 source /opt/client/bigdata_env source /opt/client/Spark2x/component_env 执行以下命令,认证用户。
代码样例 用户在开发前需要使用对接安全模式的Kafka,则需要引入FusionInsight的kafka-clients-*.jar,该jar包可在Kafka的客户端目录下获取。 下面列出producer和consumer主要逻辑代码作为演示。
代码样例 用户在开发前需要使用对接安全模式的Kafka,则需要引入FusionInsight的kafka-clients-*.jar,该jar包可在kafka客户端目录下获取。 下面列出producer和consumer主要逻辑代码作为演示。
代码样例 用户在开发前需要使用对接安全模式的Kafka,则需要引入FusionInsight的kafka-clients-*.jar,该jar包可在Kafka客户端目录下获取。
is.security.mode: 客户端是否使用安全模式连接集群,默认值为“true”。 父主题: 开发Kafka应用