检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
公共环境变量: cd/opt/client sourcebigdata_env 在该目录下用hdfs用户进行命令行认证,用户密码请咨询集群管理员。 kinithdfs kinit一次票据时效24小时。24小时后再次运行样例,需要重新kinit命令。 进入“/opt/client/
单击“导出”,将配置文件“properties.properties”保存到本地。配置文件中包含认证密码信息可能存在安全风险,建议当前场景执行完毕后删除相关配置文件或加强安全管理。 表1 Flume角色服务端所需修改的参数列表 参数名称 参数值填写规则 参数样例 ssl 是否启用SSL认证(基于安全要求,建议启用此功能)。
- password 是 连接MySQL的密码。配置文件中包含认证密码信息可能存在安全风险,建议当前场景执行完毕后删除相关配置文件或加强安全管理。 - host 否 MySQL地址 localhost port 否 MySQL端口 3306 log_level 否 日志打印级别,可选值为
0及之后版本支持才支持该功能。 carbon.enable.multi.version.table.status false 是否开启tablestatus文件多版本管理,开启该参数后,每次load/insert/IUD都会产生一个tablestatus文件。 说明: 如果同时使用JDBCServer和客户
CDL服务包含了两个重要的角色:CDLConnector和CDLService。CDLConnector是具体执行数据抓取任务的实例,CDLService是负责管理和创建任务的实例。 CDL支持在CDLService WebUI界面创建数据同步任务和数据比较任务,使用流程如图1所示。 图1 CDL使用流程
> Web UI ”。 通过HBase shell命令查看应用程序运行情况。可参见“更多信息 > 对外接口 > Shell ”。 各样例程序运结果如下: hbase-example样例运行成功后,显示信息如下: ... 2020-09-09 22:11:48,496 INFO [main]
Transfer-Encoding: chunked {"boolean":true}linux1:/opt/client # 密钥管理系统通过HTTP REST API对外提供密钥管理服务,接口请参考官网: http://hadoop.apache.org/docs/r3.1.1/hadoop-kms/index
> Web UI ”。 通过HBase shell命令查看应用程序运行情况。可参见“更多信息 > 对外接口 > Shell ”。 各样例程序运结果如下: HBase数据读写样例运行成功会有如下信息: ... 2020-09-09 22:11:48,496 INFO [main] example
从下载的文件中解压获取“user.keytab”和“krb5.conf”文件。 数据源的代理用户需要具有对HBase的相关操作权限。 使用HetuEngine管理员用户登录FusionInsight Manager,选择“集群 > 服务 > HetuEngine”,进入HetuEngine服务页面。
Transfer-Encoding: chunked {"boolean":true}linux1:/opt/client # 密钥管理系统通过HTTP REST API对外提供密钥管理服务,接口请参考官网: http://hadoop.apache.org/docs/r3.1.1/hadoop-kms/index
Group来将指定的Channel和多个Sink对接,从而满足相应的使用场景。目前Flume提供了两种Sink Processor用于对Sink Group中的Sink进行管理:Load Balancing和Failover。 Failover:表示在Sink Group中同一时间只有一个Sink处于活跃状态,其
sftp-to-hdfs.xml -a delete lt-ctl使用说明 lt-ctl:loader-tool controller作业管理工具,用于启停作业,查询作业状态与进度,查询作业是否运行中。 表3 lt-ctl脚本的“参数选项”配置说明 参数选项 说明 参数值示例 -help
本章节适用于MRS 3.x及后续版本。 场景1 DataNodes分区场景。 场景说明: 用户需要让不同的应用数据运行在不同的节点,分开管理,就可以通过标签表达式,来实现不同业务的分离,指定业务存放到对应的节点上。 通过配置NodeLabel特性使得: /HBase下的数据存储
sftp-to-hdfs.xml -a delete lt-ctl使用说明 lt-ctl:loader-tool controller作业管理工具,用于启停作业,查询作业状态与进度,查询作业是否运行中。 表3 lt-ctl脚本的“参数选项”配置说明 参数选项 说明 参数值示例 -help
> Web UI ”。 通过HBase shell命令查看应用程序运行情况。可参见“更多信息 > 对外接口 > Shell ”。 各样例程序运结果如下: 通过运行日志可查看应用提交后的执行详情,例如,hbase-example样例运行成功后,显示信息如下: 2020-07-13 14:36:12
hdfsDisconnect(fs); 准备运行环境 在节点上安装客户端,例如安装到“/opt/client”目录,安装方法可参考《MapReduce服务用户指南》的“客户端管理”章节。 确认服务端HDFS组件已经安装,并正常运行。 客户端运行环境已安装1.7或1.8版本的JDK。 获取并解压缩安装“MRS_HDFS_Client
本章节适用于MRS 3.x及后续版本。 场景1 DataNodes分区场景。 场景说明: 用户需要让不同的应用数据运行在不同的节点,分开管理,就可以通过标签表达式,来实现不同业务的分离,指定业务存放到对应的节点上。 通过配置NodeLabel特性使得: /HBase下的数据存储
authentication.kerberos.principal”,其对应的值即为服务端Principal的值。 使用HetuEngine管理员用户登录FusionInsight Manager,选择“集群 > 服务 > HetuEngine”,进入HetuEngine服务页面。
> Web UI ”。 通过HBase shell命令查看应用程序运行情况。可参见“更多信息 > 对外接口 > Shell ”。 各样例程序运结果如下: 通过运行日志可查看应用提交后的执行详情,例如,hbase-example样例运行成功后,显示信息如下: 2280 [main] INFOcom
在主集群手动将索引列族(默认是d)的REPLICATION_SCOPE设置为1。 配置HBase本地二级索引 登录MRS控制台,单击集群名称,选择“组件管理”。 在组件列表中选择“HBase > 服务配置”,在下拉列表中将“基础配置”切换为“全部配置”,进入HBase服务参数“全部配置”界面。