检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击“导出”,将配置文件“properties.properties”保存到本地。配置文件中包含认证密码信息可能存在安全风险,建议当前场景执行完毕后删除相关配置文件或加强安全管理。 表1 Flume角色服务端所需修改的参数列表 参数名称 参数值填写规则 参数样例 ssl 是否启用SSL认证(基于安全要求,建议启用此功能)。
- password 是 连接MySQL的密码。配置文件中包含认证密码信息可能存在安全风险,建议当前场景执行完毕后删除相关配置文件或加强安全管理。 - host 否 MySQL地址 localhost port 否 MySQL端口 3306 log_level 否 日志打印级别,可选值为
CDL服务包含了两个重要的角色:CDLConnector和CDLService。CDLConnector是具体执行数据抓取任务的实例,CDLService是负责管理和创建任务的实例。 CDL支持在CDLService WebUI界面创建数据同步任务和数据比较任务,使用流程如图1所示。 图1 CDL使用流程
Transfer-Encoding: chunked {"boolean":true}linux1:/opt/client # 密钥管理系统通过HTTP REST API对外提供密钥管理服务,接口请参考官网: http://hadoop.apache.org/docs/r3.1.1/hadoop-kms/index
Transfer-Encoding: chunked {"boolean":true}linux1:/opt/client # 密钥管理系统通过HTTP REST API对外提供密钥管理服务,接口请参考官网: http://hadoop.apache.org/docs/r3.1.1/hadoop-kms/index
从下载的文件中解压获取“user.keytab”和“krb5.conf”文件。 数据源的代理用户需要具有对HBase的相关操作权限。 使用HetuEngine管理员用户登录FusionInsight Manager,选择“集群 > 服务 > HetuEngine”,进入HetuEngine服务页面。
Group来将指定的Channel和多个Sink对接,从而满足相应的使用场景。目前Flume提供了两种Sink Processor用于对Sink Group中的Sink进行管理:Load Balancing和Failover。 Failover:表示在Sink Group中同一时间只有一个Sink处于活跃状态,其
sftp-to-hdfs.xml -a delete lt-ctl使用说明 lt-ctl:loader-tool controller作业管理工具,用于启停作业,查询作业状态与进度,查询作业是否运行中。 表3 lt-ctl脚本的“参数选项”配置说明 参数选项 说明 参数值示例 -help
本章节适用于MRS 3.x及后续版本。 场景1 DataNodes分区场景。 场景说明: 用户需要让不同的应用数据运行在不同的节点,分开管理,就可以通过标签表达式,来实现不同业务的分离,指定业务存放到对应的节点上。 通过配置NodeLabel特性使得: /HBase下的数据存储
sftp-to-hdfs.xml -a delete lt-ctl使用说明 lt-ctl:loader-tool controller作业管理工具,用于启停作业,查询作业状态与进度,查询作业是否运行中。 表3 lt-ctl脚本的“参数选项”配置说明 参数选项 说明 参数值示例 -help
hdfsDisconnect(fs); 准备运行环境 在节点上安装客户端,例如安装到“/opt/client”目录,安装方法可参考《MapReduce服务用户指南》的“客户端管理”章节。 确认服务端HDFS组件已经安装,并正常运行。 客户端运行环境已安装1.7或1.8版本的JDK。 获取并解压缩安装“MRS_HDFS_Client
authentication.kerberos.principal”,其对应的值即为服务端Principal的值。 使用HetuEngine管理员用户登录FusionInsight Manager,选择“集群 > 服务 > HetuEngine”,进入HetuEngine服务页面。
本章节适用于MRS 3.x及后续版本。 场景1 DataNodes分区场景。 场景说明: 用户需要让不同的应用数据运行在不同的节点,分开管理,就可以通过标签表达式,来实现不同业务的分离,指定业务存放到对应的节点上。 通过配置NodeLabel特性使得: /HBase下的数据存储
在主集群手动将索引列族(默认是d)的REPLICATION_SCOPE设置为1。 配置HBase本地二级索引 登录MRS控制台,单击集群名称,选择“组件管理”。 在组件列表中选择“HBase > 服务配置”,在下拉列表中将“基础配置”切换为“全部配置”,进入HBase服务参数“全部配置”界面。
在主集群手动将索引列族(默认是d)的REPLICATION_SCOPE值设置为1。 配置HBase本地二级索引 登录MRS控制台,在现有集群列表中单击集群名称,选择“组件管理”。 在组件列表中选择“HBase > 服务配置”,在下拉列表中将“基础配置”切换为“全部配置”,进入HBase服务参数“全部配置”界面。
代码设置运行用户。若在没有修改代码的场景下,执行以下语句添加环境变量: export HADOOP_USER_NAME=test 用户可向管理员咨询运行用户。test在这里只是举例,若需运行Colocation相关操作的样例代码,则此用户需属supergroup用户组。 执行如下命令,运行Jar包。
hive_sync.enable 是否同步Hudi表信息到Hive Metastore。 注意: 建议该值设置为true,统一使用Hive管理Hudi表。 false hoodie.datasource.hive_sync.database 要同步给Hive的数据库名。 default
Edit Configurations”,在弹出的会话框中设置运行用户。 -DHADOOP_USER_NAME=test 图1 参数配置 用户可向管理员咨询运行用户。test在这里只是举例,若需运行Colocation相关操作的样例代码,则此用户需属于supergroup用户组。 若已按
填写角色的名称,例如developrole,单击“确定”保存角色。 在“配置资源权限”的表格中选择“待操作集群的名称 > ClickHouse > Clickhouse管理员权限”。 选择“系统 > 权限 > 用户 > 添加用户”,创建一个人机用户,例如developuser,“角色”加入developrole。
offline cluster with same management node IPs[xxx] already exists. 已存在相同的管理节点IP[xxx]的纳管集群! 按照报错提示修改请求参数 400 12000405 The number of nodes where the