检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SQL任务 本章节适用于MRS 3.3.0及以后版本。 通过HSBroker方式连接到HetuEngine，组装对应的SQL发送到HetuEngine执行，完成对Hive数据源的增删改查操作。 import jaydebeapi driver = "io.XXX.jdbc.XXXDriver"
global.compress.level'='3'); 用户可以对特定的数据格式列指定压缩，对业务数据进一步压缩。当前识别的特定格式数据包括：JSON数据列、BASE64数据列、时间戳数据列和UUID数据列。建表时设置表属性参数“orc.column.compress”即可。
使用Hue（MRS 3.x之前版本） 访问Hue WebUI界面 使用Hue WebUI操作Hive表 在Hue WebUI使用HiveQL编辑器 在Hue WebUI使用元数据浏览器 在Hue WebUI使用文件浏览器 在Hue WebUI使用作业浏览器 Hue常用配置参数
用加密方式，请参考配置Flume加密传输数据采集任务。该配置为只用一个Flume场景，例如：Taildir Source+Memory Channel+HDFS Sink。 前提条件 已成功安装集群，包含HDFS及Flume服务。 确保集群网络环境安全。 已创建用户flume_h
使用Flume服务端从本地采集静态日志保存到Kafka 该任务指导用户使用Flume服务端从本地采集静态日志保存到Kafka的Topic列表（test1）。 本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参考配置Flume加密传输数据采集任务。
用加密方式，请参考配置Flume加密传输数据采集任务。该配置为只用一个Flume场景，例如：Spooldir Source+Memory Channel+Kafka Sink. 前提条件 已成功安装集群，包含Kafka及Flume服务。 确保集群网络环境安全。 MRS集群管理员已
表：flume_test。该场景介绍的是多级agent串联操作。 本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参考配置Flume加密传输数据采集任务。该配置可以只用一个Flume场景，例如Server：Spooldir Source+File
Spark提供类似SQL的Spark SQL语言操作结构化数据，本章节提供从零开始使用Spark SQL，创建一个名称为src_data的表，然后在src_data表中每行写入一条数据，最后将数据存储在“mrs_20160907”集群中。再使用SQL语句查询src_data表中的数据，最后可将src_data表删除。
10:15400/test（15400为样例端口） 用户名 表示连接数据库使用的用户名称。 密码 表示此用户对应的密码。需要与实际密码保持一致。 表2 ftp-connector配置 参数 说明 名称 指定一个Loader连接的名称。 连接器 选择“ftp-connector”。 FTP模式 选择“ACTIVE”或者“PASSIVE”。
使用Flume服务端从Kafka采集日志保存到HDFS 该任务指导用户使用Flume服务端从Kafka的Topic列表(test1)采集日志保存到HDFS上“/flume/test”目录下。 本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参考
使用Flume服务端从本地采集静态日志保存到HDFS 该任务指导用户使用Flume服务端从本地采集静态日志保存到HDFS上“/flume/test”目录下。 本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参考配置Flume加密传输数据采集任务。
多级agent串联操作。 本章节适用于MRS 3.x及之后版本。 本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参考配置Flume加密传输数据采集任务。该配置可以只用一个Flume场景，例如Server：Spooldir Source+File
使用Flume服务端从本地采集动态日志保存到HDFS 该任务指导用户使用Flume服务端从本地采集动态日志保存到HDFS上“/flume/test”目录下。 本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参考配置Flume加密传输数据采集任务。
用加密方式，请参考配置Flume加密传输数据采集任务。该配置为只用一个Flume场景，例如：Spooldir Source+Memory Channel+HDFS Sink。 前提条件 已成功安装集群，包含HDFS及Flume服务。 确保集群网络环境安全。 已创建用户flume_
用SSL认证。如需使用加密方式，请参考配置Flume加密传输数据采集任务。该配置为只用一个Flume场景，例如：Kafka Source+Memory Channel+HDFS Sink. 前提条件 已成功安装集群，包含HDFS、Kafka及Flume服务。 确保集群网络环境安全。
使用CDM服务迁移MRS HDFS数据至OBS 应用场景 MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下，用户将数据存储在OBS服务中，使用MRS集群仅作数据计算处理的存算分离模式，从而实现按需灵活扩展资源、低成本的海量数据分析方案。 CDM支持文件到文件类数据的迁移，本章节以MRS
前提条件 已成功安装集群、HDFS及Flume服务、Flume客户端。 已创建用户flume_hdfs并授权验证日志时操作的HDFS目录和数据。 操作步骤 分别生成Flume角色服务端和客户端的证书和信任列表。 以omm用户登录Flume服务端所在节点。进入“${BIGDATA_HO
op/data1/）的用户自有数据。 登录MRS管理控制台。 在集群详情页面，选择“节点管理”。 单击待更换磁盘的“节点名称”进入弹性云服务器管理控制台，单击“关机”。 联系华为云支持人员在后台更换磁盘。 在弹性云服务器管理控制台，单击“开机”，将已更换磁盘的节点开机。 执行fdisk
监控指标转储配置”，查看“FTP用户名”、“保存路径”和“转储模式”配置项。 是FTP模式，执行6。 是SFTP模式，执行7。 登录服务器，在默认目录下查看相对路径“保存路径”是否有“FTP用户名”的读写权限。 是，执行9。 否，执行8。 登录服务器，查看绝对路径“保存路径”是否有“FTP用户名”的读写权限。
前提条件 已成功安装集群、HDFS及Flume服务、Flume客户端。 已创建用户flume_hdfs并授权验证日志时操作的HDFS目录和数据。 操作步骤 分别生成Flume角色服务端和客户端的证书和信任列表。 以omm用户登录Flume服务端所在节点。进入“${BIGDATA_HO
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
