检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
file”参数后的“下载文件”,可获取已有的服务端参数配置文件。然后选择“ 服务 > Flume > 导入”,将该文件导入后再修改加密传输的相关配置项即可。 导入配置文件时,建议配置Source/Channel/Sink的各自的个数都不要超过40个,否则可能导致界面响应时间过长。 单击“导出”,将配置文件“properties
0及以后版本。 操作场景 在python3程序代码完成开发后,可以在Windows环境或者上传到Linux环境进行调测,和集群业务平面网络互通时,可以直接在本地进行调测。 操作步骤 参考导入并配置HetuEngine Python3样例工程章节,获取样例代码,获取hetu-jdbc-XXX
FS日志获取应用运行情况。 前提条件 已安装客户端时: 已安装HDFS客户端。 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 未安装客户端时: Linux环境已安装JDK,版本号需要和IDEA导出Jar包使用的JDK版本一致。
在程序代码完成开发后,可以在Linux环境中运行IoTDB-Kafka样例程序。 前提条件 已安装IoTDB和Kafka客户端。 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 操作步骤 导出Jar包。 构建Jar包方式有以下两种:
请下载使用最新版本的客户端。 前提条件 HDFS和Oozie组件安装完成且运行正常,客户端安装成功。 如果当前客户端为旧版本,需要重新下载和安装客户端。 已创建或获取访问Oozie服务的人机用户账号及密码。 该用户需要从属于hadoop、supergroup、hive组,同时添加Oozie的角色操
其他 hetu-updateKrb5.log 部署Hive集群更换域后,Hive数据源配置自动刷新时打印的日志。 hetu_utils.log 启动时预处理脚本调用工具类上传文件到HDFS时打印的日志。 日志级别 HetuEngine中提供了如表2所示的日志级别。日志级别优先级从高到
本工程主要给出了创建HDFS文件夹、写文件、追加文件内容、读文件和删除文件/文件夹等相关接口操作示例。相关业务场景介绍请参见开发HDFS应用。 hdfs-c-example HDFS C语言开发代码样例。 本示例提供了基于C语言的HDFS文件系统连接、文件操作如创建文件、读写文件、
执行如下命令连接Spark组件的客户端。 spark-beeline 在spark-beeline中执行命令,例如在obs://mrs-word001/table/目录中创建表test。 create table test(id int) location 'obs://mrs-word001/table/';
API使用类 调用API接口创建集群失败
独立且等同的,当其中一个实例在升级或者业务中断时,其他的实例也能接受客户端的连接请求。 多主实例方案遵循以下规则: 当一个实例异常退出时,其他实例不会接管此实例上的会话,也不会接管此实例上运行的业务。 当JDBCServer进程停止时,删除在ZooKeeper上的相应节点。 由于
在程序代码完成开发后,可以在Linux环境中运行IoTDB-Kafka样例程序。 前提条件 已安装IoTDB和Kafka客户端。 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 操作步骤 导出Jar包。 构建Jar包方式有以下两种:
Yarn用户权限管理 创建Yarn角色 父主题: 使用Yarn
请下载使用最新版本的客户端。 前提条件 HDFS和Oozie组件安装完成且运行正常,客户端安装成功。 如果当前客户端为旧版本,需要重新下载和安装客户端。 已创建或获取访问Oozie服务的人机用户账号及密码。 该用户需要从属于hadoop、supergroup、hive组,同时添加Oozie的角色操
为Storm业务用户配置独立的密码策略后,如果配置了跨集群互信,请根据此密码策略,在Manager为Storm业务用户重置密码。 前提条件 MRS集群管理员已明确业务需求,并创建好“人机”用户,例如“testpol”。 操作步骤 以“omm”用户登录集群内任意节点。 执行以下命令,防止超时退出。 TMOUT=0 执
如何开发Flume第三方插件 安装Flume客户端,如安装目录为“/opt/flumeclient”。 将自主研发的代码打成jar包。 建立插件目录布局。 进入“Flume客户端安装目录/fusionInsight-flume-*/plugins.d”路径下,使用以下命令建立目录,可根据实际业务进行命名,无固定名称:
orker个数,当检测到HetuEngine计算实例的Worker个数小于初始设置值的80%时产生该告警。 HetuEngine计算实例运行的Worker个数大于等于初始设置值的80%时,告警清除。 告警属性 告警ID 告警级别 是否可自动清除 45007 重要 是 告警参数 类别
FS日志获取应用运行情况。 前提条件 已安装客户端时: 已安装HDFS客户端。 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 未安装客户端时: Linux环境已安装JDK,版本号需要和IDEA导出Jar包使用的JDK版本一致。
在弹出的菜单中,选择“kafka-example:jar > Build”开始生成jar包。 图7 Build 当Event log中出现如下类似日志时,表示Jar包生成成功。您可以在1.c中配置的路径下获取到jar包。 14:37 Compilation completed successfully
选择是否继续执行后续脚本。 样例1:创建集群指定所有脚本的“失败后操作”均选择“继续”,则不论这些脚本实际执行成功或失败,都会全部执行,并完成启动流程。 样例2:如果一个脚本执行失败,且“失败后操作”选择“终止”,则不会执行后续脚本,集群创建或扩容也随之失败。 您最多可以添加18
Yarn用户权限管理 创建Yarn角色 父主题: 使用Yarn