检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
弹性伸缩,可通过手动添加节点组的方式进行配置。 “自定义”类型集群添加Task节点操作步骤: 在集群详情页面,选择“节点管理”页签,单击“新增节点组”,进入“新增节点组”页面。 节点类型选择“Task”,“部署角色”参数默认选择“NM”部署NodeManager角色,则新增节点组
ookupBolt和JdbcInsertBolt中也可以增加处理逻辑对数据进行处理。 本章节只适用于MRS产品Storm与JDBC组件间的访问。本章中描述的jar包的具体版本信息请以实际情况为准。 应用开发操作步骤 确认Storm组件已经安装,且正常运行。 下载Storm客户端,
HttpFS是个单独无状态的gateway进程,对外提供webHDFS接口,对HDFS使用FileSystem接口对接。可用于不同Hadoop版本间的数据传输,及用于访问在防火墙后的HDFS(HttpFS用作gateway)。 HDFS HA架构 HA即为High Availability,用于解决Name
如果ClickHouse与Kafka不在同一个集群需要建立跨集群互信,具体请参考配置跨Manager集群互信。 操作步骤 登录Kafka服务所在Manager页面,选择“系统 > 权限 > 用户 > 添加用户”,创建一个具有Kafka权限的人机用户,例如创建人机用户ck_user1,首次使用需要修改
执行Yarn客户端命令查询历史作业报错,进程被终止。具体错误如下: 原因分析 客户端分配内存不足,导致提交命令报错。 处理步骤 以root用户登录HDFS客户端安装节点。 执行以下命令编辑文件。 vim /opt/client/HDFS/component_env 调大参数“ export
导入并配置HetuEngine样例工程 根据场景开发工程 提供了Java语言的样例工程,包括连接HetuEngine、SQL语句执行、结果解析,断开连接等全流程的样例工程。 开发HetuEngine应用 编译并运行程序 指导用户将开发好的程序编译并提交运行。 调测HetuEngine应用 查看程序运行结果
检查ClickHouse实例metrika.xml配置是否正常 在FusionInsight Manager页面告警列表中,单击此告警所在行的,查看该告警的主机名。在“主机”页面,根据对应的主机名,查看主机IP。 登录ClickHouse服务异常的实例主机节点,进入当前ClickHouse实例配置目录,执行如下命令:
doris_jdbc_catalog; show databases; 回显结果中显示MySQL中的数据库名和表名即表示Doris通过JDBC Catalog访问MySQL集群成功。 父主题: 配置Doris支持多源数据
策略。 选择“集群 > 服务 > Ranger”,单击“Ranger Web UI”右侧的超链接登录Ranger WebUI页面。 安全模式集群需单击页面右上角的用户名,在下拉框中单击“Log Out”退出当前用户,使用rangeradmin用户重新登录Ranger管理界面。 在首页中单击“HADOOP
使用Storm Storm WebUI页面中events超链接地址无效 提交Storm拓扑失败排查思路 提交Storm拓扑失败,提示Failed to check principle for keytab 提交Storm拓扑后Worker日志为空 提交Storm拓扑后Worker运行异常,日志提示Failed
参考获取MRS应用开发样例工程,获取样例代码解压目录中“src”目录下的样例工程“hdfs-example-security”。 将准备MRS应用开发用户时得到的keytab文件“user.keytab”和“krb5.conf”文件放到样例工程的“conf”目录下。 安装IntelliJ I
登录MRS Manager页面,为使用函数的Hive业务用户配置Hive管理员权限。 登录MRS Manager页面,单击“系统配置 > 角色管理 > 添加角色”,添加一个拥有Hive Admin Privilege权限的角色。 在MRS Manager页面,单击“系统配置 > 用户管理
个方面影响了HDFS的整体可用性: 当异常情况发生时,如机器崩溃,集群将不可用,除非重新启动NameNode。 计划性的维护工作,如软硬件升级等,将导致集群停止工作。 针对以上问题,HDFS高可用性方案通过自动或手动(可配置)的方式,在一个集群中为NameNode启动一个热替换的
参数 说明 连接数据库 --connect 连接关系型数据库的url --connection-manager 指定连接管理类 --driver jdbc 连接驱动包 --help 帮助信息 --password 连接数据库密码 --username 连接数据库的用户名 --verbose
HetuEngine”,进入HetuEngine服务页面。 在“概览”页签下的“基本信息”区域,单击“HSConsole WebUI”后的链接,进入HSConsole界面。 选择“数据源”,单击“添加数据源”,在“添加数据源”页面填写参数。 配置“基本配置”,填写数据源名称,选择数据源类型“JDBC
端集群保持一致,保证CDM集群和待迁移的MRS集群之间网络互通。 在“集群管理”页面单击待操作集群对应“操作”列的“作业管理”。 在“连接管理”页签,单击“新建连接”。 参考CDM服务的新建连接页面,添加到迁移源端集群的连接,连接器类型根据实际集群来选择,例如连接器类型选择“Apache
问: MRS集群中的弹性伸缩功能如何收费? 答: 在创建集群时,Task节点只配置了弹性伸缩的取值范围,而没有配置实例数量时,产品报价不会产生收费。如果客户配置了实例数量,产品报价会在浏览器下方即时显示出来。 如果在集群使用时,配置的弹性伸缩功能新增了节点,则包年/包月集群和按需
配置HetuEngine应用安全认证 根据场景开发工程 提供了Java语言的样例工程,包括连接HetuEngine、SQL语句执行、结果解析,断开连接等全流程的样例工程。 开发HetuEngine应用 编译并运行程序 指导用户将开发好的程序编译并提交运行。 调测HetuEngine应用 查看程序运行结果
程为: 加载HDFS服务配置文件,并进行kerberos安全认证。 认证通过后,实例化Filesystem。 此处kerberos安全认证需要使用到的keytab文件,请提前准备。 配置文件介绍 登录HDFS时会使用到如表1所示的配置文件。这些文件均已导入到“hdfs-examp
HiveServer节点上。 HiveServer进程是以操作系统上的omm用户启动的,所以要求omm用户对此文件有读权限,对此文件的目录有读、执行权限。 文件的owner需要为执行命令的用户。 当前用户需要对该文件有读、写权限。 要求文件的格式与表指定的存储格式相同。如创建表时指定stored