检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
约束限制: 不涉及 取值范围: 只能由英文字母、数字以及“_”和“-”组成,且长度为[1-64]个字符。 默认取值: 不涉及 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 node_group_name 是 String 参数解释: 节点组名称。 约束限制:
test Password 数据库访问密码。 xxx Description 描述信息。 - 参数配置完成后,单击“测试连接”,检查数据连通是否正常。 连接校验通过后,单击“确定”完成数据连接创建。 父主题: 创建CDL作业前准备
如果用户注册重复的Hive UDF,系统将只注册一次,并忽略重复的注册。 如果用户注册的Hive UDF与系统内部注册的相同,系统将会发生异常并无法正常启动。解决该异常需要用户删除对应的Hive UDF注册信息。 部署Hive UDF 要在HetuEngine中使用Hive UDF,需要用户将相应的UDF函数包、“udf
--schema 数据库名 例如执行以下命令: hetu-cli --catalog gbase_1 --schema gbasedb 执行以下命令,可正常查看数据库表信息或不报错即表示连接成功。 show tables; GBase与HetuEngine数据类型映射 表3 GBase与HetuEngine数据类型映射
在HBase作业中,Loader支持从集群可添加的所有HBase服务实例中选择任意一个。如果选定的HBase服务实例在集群中未添加,则此作业无法正常运行。 HBase 个数 配置数据操作的MapReduce任务中同时启动的map数量。参数值必须小于或等于“3000”。 20 设置数据转换
keytab”文件与“krb5.conf”文件。 准备运行环境配置文件 进行应用开发时,需要同时准备代码的运行调测的环境,用于验证应用程序运行正常。 场景一:准备本地Windows开发环境调测程序所需配置文件。 登录FusionInsight Manager页面,选择“集群 > 概览
后期需要人工上传票据,存在可靠性和易用性问题,因此推荐使用keytab方式。 应用开发操作步骤 确认Storm和HDFS组件已经安装,并正常运行。 将storm-examples导入到IntelliJ IDEA开发环境,请参见准备Storm应用开发环境。 如果集群启用了安全服务,按登录方式需要进行以下配置:
CDL和IoTDB服务 表2 重启策略以及影响 组件名称 重启策略 影响范围 影响时间 meta 直接重启 Yarn超大频率获取临时AKSK时可能触发流控,正常场景不涉及。 耗时约5分钟。 滚动重启 滚动重启不影响业务。 滚动重启10个节点耗时约20分钟。 DBService 直接重启 重启期间影
实例 表2 重启策略以及影响 组件名称 重启策略 影响范围 影响时间 meta 直接重启 Yarn超大频率获取临时AKSK时可能触发流控,正常场景不涉及。 耗时约5分钟。 滚动重启 滚动重启不影响业务。 滚动重启10个节点耗时约20分钟。 DBService 直接重启 重启期间影
Doris采用MySQL协议,高度兼容MySQL语法,支持标准SQL,用户可以通过各类客户端工具来访问Doris,并支持与BI工具无缝对接。 FE 主要负责用户请求的接入、查询解析规划、元数据的管理、节点管理相关工作。 BE 主要负责存储数据、执行查询计划、副本负载均衡。 Leader Leader为
在Hive作业中,Loader支持从集群可添加的所有Hive服务实例中选择任意一个。如果选定的Hive服务实例在集群中未添加,则此作业无法正常运行。 hive 个数 配置数据操作的MapReduce任务中同时启动的map数量。参数值必须小于或等于“3000”。 20 设置数据转换
间的访问。本章中描述的jar包的具体版本信息请以实际情况为准。 应用开发操作步骤 确认华为MRS产品Storm和Kafka组件已经安装,并正常运行。 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src\storm-examples”目录下的样例工程文件夹storm-e
查看作业管理界面,作业状态为“运行中”。 参考管理Kafka Topic中的消息,执行以下命令查看Sink表中是否接收到数据,即5执行完成后查看Kafka topic是否正常写入数据。 sh kafka-console-consumer.sh --topic test_sink --bootstrap-server
1-SNAPSHOT目录,最终项目整体结构如下图所示。 部署Function Plugin 部署前需要确认: HetuEngine服务处于正常状态。 HDFS和HetuEngine客户端已经安装到集群节点,例如“/opt/client”目录下。 已创建HetuEngine用户,用
"zw_test":"2021-09-08 09:08:01"} 输入完成后按回车发送消息。 执行以下命令查看Sink表中是否接收到数据,即Hive表是否正常写入数据。 beeline select * from user_behavior_hive_tbl; 场景二:Hive作为维表。 参考H
描述 ERROR ERROR表示系统运行的错误信息。 WARN WARN表示当前事件处理存在异常信息。 INFO INFO表示记录系统及各事件正常运行状态信息。 DEBUG DEBUG表示记录系统及系统的调试信息。 如果您需要修改日志级别,请执行如下操作: 请参考修改集群服务配置参数,进入Storm的“全部配置”页面。
在HBase作业中,Loader支持从集群可添加的所有HBase服务实例中选择任意一个。如果选定的HBase服务实例在集群中未添加,则此作业无法正常运行。 HBase 个数 配置数据操作的MapReduce任务中同时启动的map数量。参数值必须小于或等于“3000”。 20 设置数据转换
在Hive作业中,Loader支持从集群可添加的所有Hive服务实例中选择任意一个。如果选定的Hive服务实例在集群中未添加,则此作业无法正常运行。 hive 个数 配置数据操作的MapReduce任务中同时启动的map数量。参数值必须小于或等于“3000”。 20 设置数据转换
注:直连HiveServer时,若当前连接的HiveServer故障则会导致访问Hive失败;若使用ZooKeeper的访问Hive,只要有任一个HiveServer实例可正常提供服务即可。因此使用JDBC时建议通过ZooKeeper的方式访问Hive。 加载Hive JDBC驱动。 // 加载Hive JDBC驱动
本章节只适用于MRS产品Storm与Kafka组件间的访问。本章中描述的jar包的具体版本信息请以实际情况为准。 应用开发操作步骤 确认Storm和Kafka组件已经安装,并正常运行。 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src\storm-examples”目录下的样例工程文件夹storm-e