检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
已成功安装集群，包含Kafka及Flume服务。 确保集群网络环境安全。 MRS集群管理员已明确业务需求，并准备一个Kafka管理员用户flume_kafka。 操作步骤 配置Flume的参数。 使用Manager界面中的Flume配置工具来配置Flume角色服务端参数并生成配置文件。 登录FusionInsight
置，配置项包括消息发送和等待的超时设置，以及Akka DeathWatch检测机制参数等。 SSL： 当需要配置安全Flink集群时，需要配置SSL相关配置项，配置项包括SSL开关，证书，密码，加密算法等。 Network communication (via Netty)： F
CarbonData首查优化工具 工具介绍 CarbonData 的首次查询较慢，对于实时性要求较高的节点可能会造成一定的时延。 本工具主要提供以下功能： 对查询时延要求较高的表进行首次查询预热。 工具使用 下载安装客户端，例如安装目录为“/opt/client”。进入 目录“/
Manager管理界面，选择“系统 > 权限 > 用户”，选择“更多 > 下载认证凭据”下载用户flume_hdfs的kerberos证书文件并保存在本地。 图1 下载认证凭据 配置Flume角色客户端参数。 使用FusionInsight Manager界面中的Flume配置工具来配置
ClickHouse数据入库工具 最佳实践方案 ClickHouse数据加工流程最佳实践：在数据湖中通过Hive&Spark（批量）/FlinkSQL（增量）加工成大宽表后，通过CDL/Loader工具实时同步到ClickHouse，下游BI工具和应用进行实时OLAP分析。 数据加工
security.ssl.key-password security.ssl.keystore-password security.ssl.truststore-password success." else echo "security.ssl.encrypt
使用Spark小文件合并工具说明 工具介绍 在Hadoop大规模生产集群中，由于HDFS的元数据都保存在NameNode的内存中，集群规模受制于NameNode单点的内存限制。如果HDFS中有大量的小文件，会消耗NameNode大量内存，还会大幅降低读写性能，延长作业运行时间。因
loader-tool工具使用示例 操作场景 loader-tool工具支持通过作业模板或参数选项的方式，对连接器或者作业进行创建、更新、查询、删除等操作。 本文将以“从SFTP服务器导入数据到HDFS”的作业为例，通过引用作业模板的方式，介绍loader-tool工具的使用方法。 前提条件
使用BulkLoad工具向HBase迁移数据 HBase的数据都是存储在HDFS中的，数据导入即是加载存放在HDFS中的数据到HBase表中。Apache HBase提供了“Import”和“ImportTsv”工具用于批量导入HBase数据。 “Import”通过“org.apache
通过“CSV文件输入”算子，生成两个字段A和B。 源文件如下： 配置“更新域”算子，当发现值为test时，更新值，在test后面加上good。 转换后，输出A和B，结果如下： 父主题： Loader转换类算子
通过“CSV文件输入”算子，生成两个字段A和B。 源文件如下图： 配置“增加常量字段”算子，增加两个字段C和D： 转换后，将A、B、C和D按顺序输出，结果如下： 父主题： Loader转换类算子
使用BulkLoad工具向HBase迁移数据 HBase的数据都是存储在HDFS中的，数据导入即是加载存放在HDFS中的数据到HBase表中。Apache HBase提供了“Import”和“ImportTsv”工具用于批量导入HBase数据。 “Import”通过“org.apache
loader-tool工具使用示例 操作场景 loader-tool工具支持通过作业模板或参数选项的方式，对连接器或者作业进行创建、更新、查询、删除等操作。 本文将以“从SFTP服务器导入数据到HDFS”的作业为例，通过引用作业模板的方式，介绍loader-tool工具的使用方法。 本章节适用于MRS
flink-conf.yaml”中关于SSL的值，针对MRS 3.x之前版本，安全集群默认没有开启外部SSL，用户如果需要启用外部SSL，进行配置后再次运行该脚本即可，配置参数在MRS的Flink默认配置中不存在，用户如果开启外部连接SSL，则需要添加表3中参数。 表3 参数描述
使用Flume客户端加密工具 安装Flume客户端后，配置文件的部分参数可能需要填写加密的字符，Flume客户端中提供了加密工具。 安装Flume客户端。 登录安装Flume客户端的节点，并切换到客户端安装目录。例如“/opt/FlumeClient”。 切换到以下目录 cd fu
客户端工具说明 使用客户端运行Loader作业 loader-tool工具使用指导 loader-tool工具使用示例 schedule-tool工具使用指导 schedule-tool工具使用示例 使用loader-backup工具备份作业数据 开源sqoop-shell工具使用指导
客户端工具说明 使用命令行运行Loader作业 loader-tool工具使用指导 loader-tool工具使用示例 schedule-tool工具使用指导 schedule-tool工具使用示例 使用loader-backup工具备份作业数据 开源sqoop-shell工具使用指导
/opt/client 执行以下命令配置环境变量。 source bigdata_env 首次登录IoTDB客户端前需执行以下步骤生成SSL客户端证书： 执行以下命令生成客户端SSL证书： keytool -noprompt -import -alias myservercert -file ca.crt
配置BulkloadTool工具支持解析自定义分隔符 操作场景 Phoenix提供了批量数据导入工具CsvBulkloadTool，相关特性介绍请参见https://phoenix.apache.org/bulk_dataload.html，在此特性基础上，支持导入自定义分隔符文
使用BulkLoad工具批量删除HBase数据 操作场景 BulkLoad工具支持根据rowkey的取值模式、范围、字段名、字段值对HBase数据做批量删除。 使用BulkLoad工具批量删除HBase数据 执行如下命令删除从“row_start”到“row_stop”的行，并且
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
