检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备本地应用开发环境 准备连接集群配置文件 应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,配置文件通常包括集群组件信息文件以及用于安全认证的用户文件,可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。
”。 cd /opt/client 执行以下命令,配置环境变量。 source bigdata_env 执行以下命令,进行用户认证。(普通集群跳过此步骤) kinit 组件业务用户 执行以下命令,切换到Kafka客户端安装目录。 cd Kafka/kafka/bin 执行以下命令,获取consumer
准备本地应用开发环境 准备连接集群配置文件 应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,配置文件通常包括集群组件信息文件以及用于安全认证的用户文件,可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。
values) 测试insertRecord,不实际写入数据,只将数据传输到server即返回。 void testInsertTablet(Tablet tablet) 测试insertTablet,不实际写入数据,只将数据传输到server即返回。 父主题: IoTDB开发指南(普通模式)
Manager登录认证 功能介绍 实现Basic认证登录,并返回登录后的httpClient。 前提条件 配置用户的集群信息和登录账号信息: 配置文件:“样例工程文件夹\conf\UserInfo.properties”。 参数说明: userName:登录Manager系统的用户名。
初始化环境变量。 source /opt/client/bigdata_env 如果当前集群已启用Kerberos认证,需先配置客户端认证,可参考5。如果当前集群未启用Kerberos认证,则无需执行该步骤。 参考表1运行相关命令。 表1 Flink Shell命令参考 命令 参数说明 描述 yarn-session
manager.timeout”的默认时间为“600000ms”,集群规格为每个regionserver上有2000~3000个region,在集群正常情况下(HBase无异常,HDFS无大量的读写操作等),建议此参数依据集群的规格进行调整,如果实际规格(实际平均每个regonserv
调测Manager应用 在本地开发环境中调测Manager应用 查看Manager应用调测结果 父主题: Manager管理开发指南
开发IoTDB应用 IoTDB JDBC样例程序 IoTDB Session样例程序 IoTDB Flink样例程序 IoTDB Kafka样例程序 IoTDB自定义函数(UDF)样例程序 父主题: IoTDB开发指南(安全模式)
Hive应用开发概述 Hive应用开发简介 Hive应用开发常用概念 Hive应用开发流程介绍 父主题: Hive开发指南
调测HDFS应用 在Linux环境中调测HDFS应用 查看HDFS应用调测结果 父主题: HDFS开发指南
调测Spark应用 编包并运行Spark应用 查看Spark应用调测结果 父主题: Spark开发指南
调测OpenTSDB应用 在Windows中调测程序 在Linux中调测程序 父主题: OpenTSDB开发指南
调测Impala应用 在Windows中调测Impala JDBC应用 在Linux中调测Impala JDBC应用 父主题: Impala开发指南
Doris冷热分离 Doris冷热分离介绍 配置Doris冷热分离 父主题: Doris企业级能力增强
登录Manager界面,进入Kafka配置页面。 MRS 3.x之前的版本:登录MRS Manager,选择“服务管理 > Kafka > 配置 > 全部配置”。 MRS 3.x及后续版本,登录FusionInsight Manager,选择“集群 > 服务 > Kafka > 配置 > 全部配置”。
含义 类型 是否必填 默认值 父标签 所有字段的上层HTML标签,用于限定搜索范围。 string 是 无 文件名 自定义一个字段,以当前数据所在的文件名作为该字段值。 string 否 无 绝对文件名 配置“文件名”引用文件名环境,选中单选框时是带绝对路径的文件名;不选中单选框时是不带路径的文件名。
ClickHouse企业级能力增强 通过ELB访问ClickHouse ClickHouse开启mysql_port配置 父主题: 使用ClickHouse
Kudu开发指南(安全模式) Kudu应用开发概述 准备Kudu应用开发环境 开发Kudu应用 调测Kudu应用 Kudu应用开发常见问题
Oozie开发指南(安全模式) Oozie应用开发概述 准备Oozie应用开发环境 开发Oozie应用 调测Oozie应用 Oozie应用开发常见问题