检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MapReduce统计样例程序开发思路 场景说明 假定用户有某个周末网民网购停留时间的日志文本，基于某些业务要求，要求开发MapReduce应用程序实现如下功能。 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间，单位为分钟，分隔符为“
增数据搬迁到目的端集群。一般每天更新的数据量在GB级别可以使用CDM的“整库迁移”指定时间段的方式进行HBase新增数据迁移。 当前使用CDM的“整库迁移”功能时的限制：如果源HBase集群中被删除操作的数据无法同步到目的端集群上。 场景迁移的HBase连接器不能与“整库迁移”共
指定获取访问OBS文件系统密钥的实现方式。 参数取值： com.huawei.mrs.MrsObsCredentialsProvider：通过MRS云服务委托获取凭证。 com.obs.services.EcsObsCredentialsProvider：通过ECS云服务获取AK/SK信息。
Dependency（RDD的依赖） RDD的依赖分别为：窄依赖和宽依赖。 图1 RDD的依赖 窄依赖：指父RDD的每一个分区最多被一个子RDD的分区所用。 宽依赖：指子RDD的分区依赖于父RDD的所有分区。 窄依赖对优化很有利。逻辑上，每个RDD的算子都是一个fork/join
过滤器提供了非常强大的特性来帮助用户提高HBase处理表中数据的效率。用户不仅可以使用HBase中预定义好的过滤器，而且可以实现自定义的过滤器。 协处理器 允许用户执行region级的操作，并且可以使用与RDBMS中触发器类似的功能。 keytab文件 存放用户信息的密钥文件。在安全
心的大数据平台向以多租户为核心的大数据平台转变，更好的适应现代企业多租户应用环境，如图2所示。 图2 以用户为核心的平台和以多租户为核心的平台 对于以用户为核心的大数据平台，用户直接访问并使用全部的资源和服务。 用户的应用可能只用到集群的部分资源，资源利用效率低。 不同用户的数据可能存放在一起，难以保证数据安全。
非-1的值才会生效。 对于开启了跨资源池调度的队列，在作业运行过程中不能删除已有资源池，否则可能会导致运行中的作业申请不到资源而持续阻塞。同样如果在作业运行过程中为队列配置新的资源池，那么此时已经处于运行状态的队列可能不能立即使用到新资源池的资源，新增的资源仅对修改后提交的作业有效。
Schedule”修改作业的名称。 单击“选择Workflow...”选择需要编排的Workflow。 选择好Workflow，根据界面提示设置作业执行的频率，如果执行的Workflow需要传递参数，可单击“+添加参数”设置参数，然后单击右上角的保存作业。 因时区转化的原因，此处时间有可
Schedule”修改作业的名称。 单击“选择Workflow...”选择需要编排的Workflow。 选择好Workflow，根据界面提示设置作业执行的频率，如果执行的Workflow需要传递参数，可单击“+添加参数”设置参数，然后单击右上角的保存作业。 因时区转化的原因，此处时间有可
默认配置为true，表示只向其中的一个副本写入数据（副本间通过复制表来完成同步，能保证数据的一致性）。 如果配置为false（不建议配置），表示向该分片的所有副本中写入相同的数据（副本间数据一致性不强，无法保证完全同步）。 macros标签 当前实例节点所在的分片和副本编号，可以用于区别不同的副本。 例
HBase应用开发常用概念 过滤器 过滤器用于帮助用户提高HBase处理表中数据的效率。用户不仅可以使用HBase中预定义好的过滤器，而且可以实现自定义的过滤器。 协处理器 允许用户执行region级的操作，并且可以使用与RDBMS中触发器类似的功能。 Client 客户端直接面向用户，可通过Java
图4 Project Defaults 在打开的“Project Structure”页面中，选择“SDKs”，单击加号添加JDK。 图5 添加JDK 在弹出的“Select Home Directoty for JDK”窗口，选择对应的JDK目录，然后单击“OK”。 图6 选择JDK目录
图4 Project Defaults 在打开的“Project Structure”页面中，选择“SDKs”，单击加号添加JDK。 图5 添加JDK 在弹出的“Select Home Directoty for JDK”窗口，选择对应的JDK目录，然后单击“OK”。 图6 选择JDK目录
Kafka管理员用户组。添加入本组的用户，拥有所有Topic的创建，删除，授权及读写权限。仅在已启用Kerberos认证的集群中使用。 storm Storm的普通用户组，属于该组的用户拥有提交拓扑和管理属于自己的拓扑的权限。仅在已启用Kerberos认证的集群中使用。 stormadmin
Master承担了以前的TaskTracker的一些角色，ResourceManager承担了JobTracker的角色。 Application Master管理一个在YARN内运行的应用程序的每个实例。Application Master负责协调来自ResourceManager的资源，并
不支持嵌套创建多个索引，索引表仅用于加速查询，不承担数据表功能。 不支持创建可以被已有索引覆盖的索引 新建索引时，如果之前已存在的索引能够完全覆盖新建的索引（即创建的索引是已有索引的子集），则无法创建此索引，重复功能的索引会造成存储浪费。例如，以下操作将无法创建索引2： 创建数据表：create 't1'
建议使用新的API createDirectStream代替旧的API createStream进行应用程序开发。旧的API仍然可以使用，但新的API性能和稳定性更好。 /** * 参数解析: * <groupId>为客户的组编号。 * <brokers>为获取元数据的Kafka地址。
建议使用新的API createDirectStream代替旧的API createStream进行应用程序开发。旧的API仍然可以使用，但新的API性能和稳定性更好。 /** * 参数解析: * <groupId>为客户的组编号。 * <brokers>为获取元数据的Kafka地址。
建议使用新的API createDirectStream代替旧的API createStream进行应用程序开发。旧的API仍然可以使用，但新的API性能和稳定性更好。 /** * 参数解析: * <groupId>为客户的组编号。 * <brokers>为获取元数据的Kafka地址。
建议使用新的API createDirectStream代替旧的API createStream进行应用程序开发。旧的API仍然可以使用，但新的API性能和稳定性更好。 /** * 参数解析: * <groupId>为客户的组编号。 * <brokers>为获取元数据的Kafka地址。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
