检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
terminated by"指定列与列之间的分隔符为',',"MAP KEYS TERMINATED BY"指定MAP中键值的分隔符为'&'. ROW FORMAT delimited fields terminated by ',' MAP KEYS TERMINATED BY
部分运维操作的脚本与命令需要或只支持在主管理节点上运行。用户可以通过登录Master节点或登录Manager(仅适用于MRS 3.x及之后版本)确认集群的主备管理节点(即主备OMS节点)。 在主备模式下,由于Master1和Master2之间会进行主备切换,Master1节点不一定是主管理节点。 通过执行脚本确定主备管理节点
terminated by"指定列与列之间的分隔符为',',"MAP KEYS TERMINATED BY"指定MAP中键值的分隔符为'&'. ROW FORMAT delimited fields terminated by ',' MAP KEYS TERMINATED BY
yarn.resourcemanager.webapp.pagination.enable 是否开启Yarn WebUI的任务列表后台分页功能。 true yarn.resourcemanager.webapp.pagination.threshold 开启Yarn WebUI的任务列
retry-policy TASK coordinator.config.properties worker.config.properties 容错执行重试策略。 取值范围:QUERY、TASK task-retry-attempts-per-task 4 coordinator.config.properties
的节点。 切换到Kafka客户端安装目录,例如“/opt/client”。 cd /opt/client 执行以下命令,配置环境变量。 source bigdata_env 执行以下命令,进行用户认证。(普通集群跳过此步骤) kinit 组件业务用户 执行以下命令,切换到Kafka客户端安装目录。
转换函数 cast转换函数 HetuEngine会将数字和字符值隐式转换成正确的类型。HetuEngine不会把字符和数字类型相互转换。例如,一个查询期望得到一个varchar类型的值,HetuEngine不会自动将bigint类型的值转换为varchar类型。 如果有必要,可以将值显式转换为指定类型。
在多任务情况下,RM需要保存多个任务的鉴权信息,并通过心跳传递给各个NM(NodeManager),即心跳Response。心跳Response的生命周期短,默认值为1s,一般可以在JVM minor GC时被回收,但在多任务的情况下,集群规模较大,比如5000节点,多个节点的心跳Response会占用大量内存,导致JVM在minor
component client is installed successfully 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/hadoopclient 执行如下命令初始化环境变量。 source /opt/hadoopclient/bigdata_env
执行命令openssl x509 -noout -text -in ${CONTROLLER_HOME}/security/cert/root/ca.crt可以查看CA根证书的生效时间与失效时间。 是,执行6。 否,执行8。 查看当前HA根证书剩余有效期是否小于证书的告警阈值。 执行命令openssl
Manager提供可视化、便捷的监控告警功能。用户可以快速获取集群关键性能指标,并评测集群健康状态,同时提供性能指标的定制化显示功能及指标转换告警方法。Manager可监控所有组件的运行情况,并在故障时实时上报告警。通过界面的联机帮助,用户可以查看性能指标和告警恢复的详细方法,进行快速排障。
式数据集,这个数据集的全部或部分可以缓存在内存中,在多次计算间重用。 RDD的生成: 从HDFS输入创建,或从与Hadoop兼容的其他存储系统中输入创建。 从父RDD转换得到新RDD。 从数据集合转换而来,通过编码实现。 RDD的存储: 用户可以选择不同的存储级别缓存RDD以便重用(RDD有11种存储级别)。
扩容节点的规格:xxx资源不足,请减少购买量后重试! 请减少购买量后重试或更换其他规格 400 12000360 Cluster name cannot be updated for a cluster that is in the terminating or terminated state. 状态是【删除中/删除】的集群,不允许修改集群名字操作!
在多任务情况下,RM需要保存多个任务的鉴权信息,并通过心跳传递给各个NM(NodeManager),即心跳Response。心跳Response的生命周期短,默认值为1s,一般可以在JVM minor GC时被回收,但在多任务的情况下,集群规模较大,比如5000节点,多个节点的心跳Response会占用大量内存,导致JVM在minor
配置受信任IP地址访问LDAP 操作场景 默认情况下,部署在OMS和集群中的LDAP服务允许任意IP访问。如果需要只允许受信任的IP地址访问LDAP服务,可以配置iptables过滤列表的INPUT策略。 该章节仅适用于MRS 3.x及之后版本。 对系统的影响 配置受信任IP访问LDAP以后,未
OPTIONS('eliminate-state.left.threshold'='1', 'eliminate-state.right.threshold'='2') */ t2 on a1 = a2 join /*+ OPTIONS('eliminate-state.left
涉及HBase或Hive导入导出时,必须填写。 转换算子 数据转换的中间转换步骤,属于可选类型,各个转换算子可任意搭配使用。转换算子是针对字段而言,必须先使用输入算子,将数据转换成字段。 输出算子 数据转换的最后一步,每次转换有且只能有一种输出算子,用于输出处理后的字段。涉及H
样例 通过“CSV文件输入”算子,生成三个字段A、B和C。 源文件如下图: 配置“拼接转换”算子,“分隔符”为空格,生成新字段D: 转换后,依次输出A、B、C和D,结果如下: 父主题: Loader转换类算子
会被自动删除或退订。 对于按需收费模式集群,如果作业执行结束后不需要集群, 可以删除MRS集群。集群删除或退订后不再产生费用。 对于包年包月模式集群无法执行删除操作,如果作业执行结束后不需要集群, 可以退订MRS集群。 集群退订后,资源和数据将会被删除并且无法找回,请务必确认完成
更换HA证书 HA证书用于主备进程与高可用进程的通信过程中加密数据,实现安全通信。该任务指导用户为Manager完成主备管理节点的HA证书替换工作,以确保产品安全使用。适用于以下场景: 首次安装好集群以后,需要更换企业证书。 企业证书有效时间已过期或安全性加强,需要更换为新的证书。