检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
分隔转换 概述 “分隔转换”算子，将已有字段的值按指定的分隔符分隔后生成新字段。 输入与输出 输入：需要分隔的字段 输出：分隔后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输入字段名 被分隔的字段名，需填写上一个转换步骤生成的字段名。 string 是
拼接转换 概述 “拼接转换”算子，将已有字段的值通过连接符拼接，生成新的字段。 输入与输出 输入：需要拼接的字段 输出：拼接后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输出字段名 配置拼接后的字段名。 string 是 无 分隔符 配置拼接符，可为空
计费概述 通过阅读本文，您可以快速了解MRS（MapReduce服务）的计费模式、计费项、续费、欠费等主要计费信息。 计费模式 MRS当前支持包年/包月和按需计费模式。 包年/包月是一种预付费模式，即先付费再使用，按照订单的购买周期进行结算，因此在购买之前，用户必须确保账户余额充足
查看HDFS容量状态 HDFS DataNode以Block的形式，保存用户的文件和目录，同时在NameNode中生成一个文件对象，对应DataNode中每个文件、目录和Block。 NameNode文件对象需要占用一定的内存，消耗内存大小随文件对象的生成而线性递增。DataNode
规划HDFS容量 HDFS DataNode以Block的形式，保存用户的文件和目录，同时在NameNode中生成一个文件对象，对应DataNode中每个文件、目录和Block。 NameNode文件对象需要占用一定的内存，消耗内存大小随文件对象的生成而线性递增。DataNode实际保存的文件和目录越多
提升HBase BulkLoad工具批量加载效率 操作场景 批量加载功能采用了MapReduce jobs直接生成符合HBase内部数据格式的文件，然后把生成的StoreFiles文件加载到正在运行的集群。使用批量加载相比直接使用HBase的API会节约更多的CPU和网络资源。 ImportTSV
Spark Structured Streaming对接Kafka样例程序开发思路 场景说明 假定一个广告业务，存在广告请求事件、广告展示事件、广告点击事件，广告主需要实时统计有效的广告展示和广告点击数据。 已知： 终端用户每次请求一个广告后，会生成广告请求事件，保存到kafka的
Spark Structured Streaming对接Kafka样例程序开发思路 场景说明 假定一个广告业务，存在广告请求事件、广告展示事件、广告点击事件，广告主需要实时统计有效的广告展示和广告点击数据。 已知： 终端用户每次请求一个广告后，会生成广告请求事件，保存到kafka的
快速使用Flume采集节点日志 操作场景 Flume支持将采集的日志信息导入到Kafka。 前提条件 已创建开启Kerberos认证的包含Flume、Kafka等组件的流式集群。可参考购买自定义集群。 已配置网络，使日志生成节点与流集群互通。 使用Flume客户端（MRS 3.x之前版本
快速使用Flume采集节点日志 Flume支持将采集的日志信息导入到Kafka。 前提条件 已创建开启Kerberos认证的包含Flume、Kafka等组件的流式集群。可参考购买自定义集群。 已配置网络，使日志生成节点与流集群互通。 使用Flume客户端 普通集群不需要执行2-6。
Spark Structured Streaming对接Kafka样例程序开发思路 场景说明 假定一个广告业务，存在广告请求事件、广告展示事件、广告点击事件，广告主需要实时统计有效的广告展示和广告点击数据。 已知： 终端用户每次请求一个广告后，会生成广告请求事件，保存到kafka的
Spark Structured Streaming对接Kafka样例程序开发思路 场景说明 假定一个广告业务，存在广告请求事件、广告展示事件、广告点击事件，广告主需要实时统计有效的广告展示和广告点击数据。 已知： 终端用户每次请求一个广告后，会生成广告请求事件，保存到kafka的
修改MRS集群组件运行用户密码 建议用户定期修改MRS集群组件运行用户的密码，以提升系统运维安全性。 MRS 2.x及之前版本： 如果初始密码由系统随机生成，需要直接重置密码。 修改该密码会导致已经下载的用户凭证不可用，请修改该密码后重新下载认证凭据并替换旧凭据。 MRS 3.x及之后版本
在Linux环境中调测Storm应用 操作场景 Storm应用程序不支持在Windows环境下运行，只支持在Linux环境下运行。 在Linux环境下可以使用storm命令行完成拓扑的提交。 前提条件 已安装Storm客户端。 当客户端所在主机不是集群中的节点时，需要在客户端所在节点的
HBase输出 概述 “HBase输出”算子，用于配置已生成的字段输出到HBase表的列。 输入与输出 输入：需要输出的字段 输出：HBase表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 HBase表类型 配置HBase表类型，可选项为normal（普通HBase
HBase输出 概述 “HBase输出”算子，用于配置已生成的字段输出到HBase表的列。 输入与输出 输入：需要输出的字段 输出：HBase表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 HBase表类型 配置HBase表类型，可选项为normal（普通HBase
字符串空格清除转换 概述 “字符串空格清除转换”算子，用于配置已生成的字段通过清除空格，转换出新的字段。 输入与输出 输入：需要清除空格的字段 输出：转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 清除空格的字段 配置字符串空格清除的字段相关信息：
固定宽度文件输入 概述 “固定宽度文件输入”算子，将文件的每一行，按可配置长度的字符或字节，转换成多个输入字段。 输入与输出 输入：文本文件 输出：多个字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 换行符 用户根据数据实际情况，填写字符串作为换行符。支持任何字符串
长整型时间转换 概述 “长整型时间转换”算子，用于配置长整型数值与日期的转换。 输入与输出 输入：需要转换的字段 输出：转换后的新字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 转换类型 配置长整型时间转换类型： long to date：长整型数值转换为DATE
长整型时间转换 概述 “长整型时间转换”算子，用于配置长整型数值与日期的转换。 输入与输出 输入：需要转换的字段 输出：转换后的新字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 转换类型 配置长整型时间转换类型： long to date：长整型数值转换为DATE
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
