检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
dt.MRSDelegationTokenProvider和com.huawei.mrs.dt.GuardianDTProvider。 com.huawei.mrs.dt.MRSDelegationTokenProvider和com.huawei.mrs.dt.GuardianDTProvider
导入并配置Flink样例工程 操作场景 Flink针对多个场景提供样例工程，包含Java样例工程和Scala样例工程等，帮助客户快速学习Flink工程。 针对Java和Scala不同语言的工程，其导入方式相同。 以下操作步骤以导入Java样例代码为例。操作流程如图1所示。 图1 导入样例工程流程
管控分离部署，管理角色和控制角色分别部署在不同的Master节点中。 管控合设部署，管理角色和控制角色共同部署在Master节点中。 组件分开部署，避免资源争抢。 MRS集群部署类型说明 表1 MRS集群部署类型 常用模板 说明 节点数量范围 管控合设 管理角色和控制角色共同部署在M
数据源_任务创建时间/版本号_数据源_任务执行时间.tar.gz”。 “队列名称”：填写备份任务执行时使用的YARN队列的名称。需和集群中已存在且状态正常的队列名称相同。 “NFS”：表示备份文件通过NFS协议保存在NAS中。 选择此参数值，还需要配置以下参数： “IP 模式”：
warning表示当前事件处理存在异常信息。 trace trace表示当前事件处理跟踪信息。 information information表示记录系统及各事件正常运行状态信息。 debug debug表示记录系统及系统的调试信息。 如果您需要修改日志级别，请执行如下操作： 登录FusionInsight Manager系统。
当Linux环境所在主机不是集群中的节点时，需要在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 操作步骤 准备依赖的Jar包和配置文件。 在Linux环境新建目录，例如“/opt/test”，并创建子目录“lib”和“src/main/resources/”。将样例工程中
x之前版本，请单击“保存配置”在弹出窗口单击“是”。 选择“概览 > 更多 > 重启服务”，重启Hive服务，输入密码开始重启服务。 针对MRS 3.x之前版本，请在“服务状态”页签选择“更多 > 重启服务”，重启Hive服务。 安装并登录Hive客户端，具体操作请参考Hive客户端使用实践。 提交并执行Tez任务。
> 服务”，选择“HDFS”，单击进入HDFS服务状态页面。 由于webhdfs是http访问的，需要主NameNode的IP和http端口。 单击“实例”，找到“NameNode(hacluster,主)”的主机名（host）和对应的IP。 单击“配置”，在搜索框搜索“namenode
MapReduce统计样例程序开发思路 场景说明 假定用户有某个周末网民网购停留时间的日志文本，基于某些业务要求，要求开发MapReduce应用程序实现如下功能。 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间，单位为分钟，分隔符为“
数据源_任务创建时间/版本号_数据源_任务执行时间.tar.gz”。 “队列名称”：填写备份任务执行时使用的YARN队列的名称。需和集群中已存在且状态正常的队列名称相同。 “目标NameService名称”：选择备份目录对应的NameService名称。默认值为“hacluster”。
> 服务”，选择“HDFS”，单击进入HDFS服务状态页面。 由于webhdfs是http访问的，需要主NameNode的IP和http端口。 单击“实例”，找到“NameNode(hacluster,主)”的主机名（host）和对应的IP。 单击“配置”，在搜索框搜索“namenode
节点上下电，RegionServer的wal分裂失败导致。 解决办法 停止HBase组件。 通过hdfs fsck命令检查/hbase/WALs文件的健康状态。 hdfs fsck /hbase/WALs 输出如下表示文件都正常，如果有异常则需要先处理异常的文件，再执行后面的操作。 The filesystem
-update-mode <mode> 更新模式，有两个值updateonly和默认的allowinsert，该参数只能在关系数据表里不存在要导入的记录时才能使用，比如要导入的hdfs中有一条id=1的记录，如果在表里已经有一条记录id=2，那么更新会失败。 -input-null-string
tion的invoke方法。 def addSink(fun: T => Unit): DataStreamSink[T] 过滤和映射能力 表3 过滤和映射能力的相关接口 API 说明 def map[R: TypeInformation](fun: T => R): DataStream[R]
Optimizer：优化器，分为逻辑优化器和物理优化器，分别对HQL生成的执行计划和MapReduce任务进行优化。 Executor：按照任务的依赖关系分别执行Map/Reduce任务。 ThriftServer：提供thrift接口，作为JDBC的服务端，并将Hive和其他应用程序集成起来。
tion的invoke方法。 def addSink(fun: T => Unit): DataStreamSink[T] 过滤和映射能力 表3 过滤和映射能力的相关接口 API 说明 def map[R: TypeInformation](fun: T => R): DataStream[R]
tion的invoke方法。 def addSink(fun: T => Unit): DataStreamSink[T] 过滤和映射能力 表3 过滤和映射能力的相关接口 API 说明 def map[R: TypeInformation](fun: T => R): DataStream[R]
tion的invoke方法。 def addSink(fun: T => Unit): DataStreamSink[T] 过滤和映射能力 表3 过滤和映射能力的相关接口 API 说明 def map[R: TypeInformation](fun: T => R): DataStream[R]
database.table全限定的方式标识一张表，如：internal.db1.part。 其中catalog和database可以省略，缺省使用当前SWITCH和USE切换后的Catalog和Database。 可以使用INSERT INTO命令，将Hive Catalog中的表数据，插入到Interal
积，直到形成一个包。这个数据包会通过网络传输。 数据节点从HDFS客户端接收数据包，然后将数据包里的数据单线程写入磁盘。当磁盘处于并发写入状态时，增加数据包的大小可以减少磁盘寻道时间，从而提升IO性能。 dfs.client-write-packet-size = 262144 父主题：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
