检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
com”),否则HetuEngine无法根据主机名称连接到非本集群节点。 已创建HetuEngine计算实例。 添加GAUSSDB数据源步骤 使用HetuEngine管理员用户登录FusionInsight Manager,选择“集群 > 服务 > HetuEngine”,进入HetuEngine服务页面。
0及之后版本支持才支持该功能。 carbon.enable.multi.version.table.status false 是否开启tablestatus文件多版本管理,开启该参数后,每次load/insert/IUD都会产生一个tablestatus文件。 说明: 如果同时使用JDBCServer和客户
进行编译开发。 样例工程获取地址 MRS服务1.8之前版本的样例工程下载地址为:http://mapreduceservice.obs-website.cn-north-1.myhuaweicloud.com/。 MRS服务1.8.x版本的样例工程下载地址为:https://github
or和CDLService。CDLConnector是具体执行数据抓取任务的实例,CDLService是负责管理和创建任务的实例。 CDL支持在CDLService WebUI界面创建数据同步任务和数据比较任务,使用流程如图1所示。 图1 CDL使用流程 数据同步任务 CDL支持的数据同步任务类型:
从下载的文件中解压获取“user.keytab”和“krb5.conf”文件。 数据源的代理用户需要具有对HBase的相关操作权限。 使用HetuEngine管理员用户登录FusionInsight Manager,选择“集群 > 服务 > HetuEngine”,进入HetuEngine服务页面。
Transfer-Encoding: chunked {"boolean":true}linux1:/opt/client # 密钥管理系统通过HTTP REST API对外提供密钥管理服务,接口请参考官网: http://hadoop.apache.org/docs/r3.1.1/hadoop-kms/index
Group来将指定的Channel和多个Sink对接,从而满足相应的使用场景。目前Flume提供了两种Sink Processor用于对Sink Group中的Sink进行管理:Load Balancing和Failover。 Failover:表示在Sink Group中同一时间只有一个Sink处于活跃状态,其
对连接器的创建、更新、查询和删除等操作,以及对Loader作业的创建、更新、查询、删除、启动和停止等操作,其成功与否需要在Loader WebUI确认或通过查询server端日志确认。 参数选项方式: 通过直接添加具体配置项的参数调用脚本。 作业模板方式: 修改作业模板中所有配置
本章节适用于MRS 3.x及后续版本。 场景1 DataNodes分区场景。 场景说明: 用户需要让不同的应用数据运行在不同的节点,分开管理,就可以通过标签表达式,来实现不同业务的分离,指定业务存放到对应的节点上。 通过配置NodeLabel特性使得: /HBase下的数据存储
对连接器的创建、更新、查询和删除等操作,以及对Loader作业的创建、更新、查询、删除、启动和停止等操作,其成功与否需要在Loader WebUI确认或通过查询server端日志确认。 参数选项方式: 通过直接添加具体配置项的参数调用脚本。 作业模板方式: 修改作业模板中所有配置
> 重启实例”。 待HSBroker实例重启后,选择“集群 > 服务 > HetuEngine”在 概览页面单击“HSConsole WebUI”后的链接,进入计算实例界面。 选择待重启的计算实例,单击“停止”,待全部实例停止后,再单击“启动”重新启动计算实例。 日志格式 HetuEngine的日志格式如下所示:
使用用于访问HetuEngine WebUI界面的用户登录FusionInsight Manager。 选择“集群 > 服务 > HetuEngine”,进入HetuEngine服务页面。 在概览页签下的“基本信息”区域单击“HSConsole WebUI”后的链接,进入HSConsole界面。
hdfsDisconnect(fs); 准备运行环境 在节点上安装客户端,例如安装到“/opt/client”目录,安装方法可参考《MapReduce服务用户指南》的“客户端管理”章节。 确认服务端HDFS组件已经安装,并正常运行。 客户端运行环境已安装1.7或1.8版本的JDK。 获取并解压缩安装“MRS_HDFS_Client
authentication.kerberos.principal”,其对应的值即为服务端Principal的值。 使用HetuEngine管理员用户登录FusionInsight Manager,选择“集群 > 服务 > HetuEngine”,进入HetuEngine服务页面。
本章节适用于MRS 3.x及后续版本。 场景1 DataNodes分区场景。 场景说明: 用户需要让不同的应用数据运行在不同的节点,分开管理,就可以通过标签表达式,来实现不同业务的分离,指定业务存放到对应的节点上。 通过配置NodeLabel特性使得: /HBase下的数据存储
在主集群手动将索引列族(默认是d)的REPLICATION_SCOPE设置为1。 配置HBase本地二级索引 登录MRS控制台,单击集群名称,选择“组件管理”。 在组件列表中选择“HBase > 服务配置”,在下拉列表中将“基础配置”切换为“全部配置”,进入HBase服务参数“全部配置”界面。
在主集群手动将索引列族(默认是d)的REPLICATION_SCOPE值设置为1。 配置HBase本地二级索引 登录MRS控制台,在现有集群列表中单击集群名称,选择“组件管理”。 在组件列表中选择“HBase > 服务配置”,在下拉列表中将“基础配置”切换为“全部配置”,进入HBase服务参数“全部配置”界面。
代码设置运行用户。若在没有修改代码的场景下,执行以下语句添加环境变量: export HADOOP_USER_NAME=test 用户可向管理员咨询运行用户。test在这里只是举例,若需运行Colocation相关操作的样例代码,则此用户需属supergroup用户组。 执行如下命令,运行Jar包。
hive_sync.enable 是否同步Hudi表信息到Hive Metastore。 注意: 建议该值设置为true,统一使用Hive管理Hudi表。 false hoodie.datasource.hive_sync.database 要同步给Hive的数据库名。 default
Edit Configurations”,在弹出的会话框中设置运行用户。 -DHADOOP_USER_NAME=test 图1 参数配置 用户可向管理员咨询运行用户。test在这里只是举例,若需运行Colocation相关操作的样例代码,则此用户需属于supergroup用户组。 若已按