检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备好的Linux运行环境中运行。 前提条件 已安装Hive客户端。 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 操作步骤 编译JDBC样例程序: 在IDEA界面左下方单击“Terminal”进入终端,执行命令mvn
inux运行环境中运行。 前提条件 已安装Hive和Yarn客户端。 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 操作步骤 在IntelliJ IDEA主界面右侧,单击“Maven Projects”,在“Maven
不支持在Windows环境下运行。 前提条件 已安装HDFS客户端。 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 操作步骤 执行mvn package生成jar包,在工程目录target目录
inux运行环境中运行。 前提条件 已安装Hive和Yarn客户端。 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 操作步骤 在IntelliJ IDEA主界面右侧,单击“Maven Projects”,在“Maven
inux运行环境中运行。 前提条件 已安装Hive和Yarn客户端。 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 操作步骤 在IDEA界面左下方单击“Terminal”进入终端,执行命令mvn
调测。 如果Windows开发环境中使用IBM JDK,不支持在Windows环境中直接运行应用程序。 需要在运行样例代码的本机hosts文件中设置访问节点的主机名和公网IP地址映射,主机名和公网IP地址请保持一一对应。 仅JDBC样例程序支持在本地Windows中运行。 操作步骤
监控节点进程的YARN的Container GC日志,如果频繁出现Full GC,需要优化GC。 GC的配置:在客户端的“conf/flink-conf.yaml”配置文件中,在“env.java.opts”配置项中添加参数:“-Xloggc:<LOG_DIR>/gc.log -XX:+PrintGCDetails
参数 描述 是否必填 table 需要查询表的表名,支持database.tablename格式 是 clean_policy 清理老版本数据文件的策略,默认KEEP_LATEST_COMMITS 否 retain_commits 仅对KEEP_LATEST_COMMITS策略有效 否
准备Kafka应用开发环境 准备本地应用开发环境 准备连接Kafka集群配置文件 导入并配置Kafka样例工程 配置Kafka应用安全认证 父主题: Kafka开发指南(安全模式)
准备Doris应用开发环境 准备本地应用开发环境 准备连接Doris集群配置文件 配置并导入JDBC样例工程 配置并导入SpringBoot样例工程 父主题: Doris开发指南(安全模式)
xml”、“hiveclient.properties”文件放到样例工程的“hive-jdbc-example-multizk\src\main\resources”目录下。 下载导入该用户的krb5.conf和user.keytab文件到hive-jdbc-example-multizk包中的resources目录下。
luster模式下稍有不同。 yarn-client模式下 在除--jars参数外,在客户端“spark-defaults.conf”配置文件中,将“spark.driver.extraClassPath”参数值中添加客户端依赖包路径,如“$SPARK_HOME/jars/streamingClient010/*”。
luster模式下稍有不同。 yarn-client模式下 在除--jars参数外,在客户端“spark-defaults.conf”配置文件中,将“spark.driver.extraClassPath”参数值中添加客户端依赖包路径,如“$SPARK_HOME/jars/streamingClient010/*”。
xml”、“hiveclient.properties”文件放到样例工程的“hive-jdbc-example-multizk\src\main\resources”目录下。 下载导入该用户的krb5.conf和user.keytab文件到hive-jdbc-example-multizk包中的resources目录下。
准备Hive应用开发环境 准备本地应用开发环境 准备连接Hive集群配置文件 导入并配置Hive样例工程 配置Hive JDBC接口访问Hive安全认证 父主题: Hive开发指南(安全模式)
组件管理类 MRS集群中安装的组件能否删除? 如何查看各组件配置文件路径? Hive服务运行状态为亚健康是否会影响上层业务? 如何获取ZooKeeper的IP地址和端口?
Impala样例程序指导 功能简介 本小节介绍了如何使用样例程序完成分析任务。本章节以使用JDBC接口提交数据分析任务为例。 样例代码 使用Impala JDBC接口提交数据分析任务,参考样例程序中的JDBCExample.java。 修改以下变量为false,标识连接集群的认证模式为普通模式。
MRS对接LakeFormation云服务 使用MRS Spark SQL访问DWS表 Hive对接CSS服务 使用MRS Hive表对接OBS文件系统
ALM-45447 ClickHouse表只读 本章节仅适用于MRS 3.3.1及之后版本。 告警解释 系统每隔1分钟检测一次表的状态,当检测到有表处于只读状态,系统产生告警。当没有表处于只读状态,告警自动消除。 告警属性 告警ID 告警级别 是否可自动清除 45447 次要 是
ClickHouse运维管理 ClickHouse日志介绍 ClickHouse集群管理 通过数据文件备份恢复ClickHouse数据 配置ClickHouse系统表的生命周期 集群内ClickHouseServer节点间数据迁移 父主题: 使用ClickHouse