检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SQL防御前提条件 已安装包含HetuEngine服务的集群客户端，安装目录如“/opt/hadoopclient”。 HetuEngine服务及计算实例运行状态正常。 如集群已启用Kerberos认证，需提前创建HetuEngine的用户并授予相关权限，且需要通过Ranger为该用户配
数据迁移方案介绍 准备工作 元数据导出 数据复制 数据恢复 父主题： 数据迁移
Hadoop开源软件的基础上，在主要业务部件的可靠性、性能调优等方面进行了优化和提升。 系统可靠性 管理节点均实现HA Hadoop开源版本的数据、计算节点已经是按照分布式系统进行设计的，单节点故障不影响系统整体运行；而以集中模式运作的管理节点可能出现的单点故障，就成为整个系统可靠性的短板。
是一条直线。这意味着可以使用笛卡尔数学和直线矢量来计算几何形状（面积，距离，长度，交点等）。 SphericalGeography类型的基础是一个球体。球面上两点之间的最短路径是大圆弧。这意味着必须使用更复杂的数学方法在球体上计算地形（区域，距离，长度，交点等）。不支持考虑到实际球体形状的更精确的测量。
opts参数；如果未设置-Xmx，Xmx值从mapreduce.map.memory.mb*mapreduce.job.heap.memory-mb.ratio计算获取。 集群已开启Kerberos认证：-Djava.net.preferIPv4Stack=true -Djava.net.preferIPv6Addresses=false
查看MRS集群资源监控指标 MRS支持将集群中所有部署角色的节点，按管理节点、控制节点和数据节点进行分类，分别计算关键主机监控指标在每类节点上的变化趋势，并在报表中按用户自定义的周期显示分布曲线图。MRS集群指标监控采用周期性监控，历史监控平均周期约为5分钟。 用户可在MRS管理
配置HetuEngine智能物化视图能力 HetuEngine智能物化视图概述 基于智能物化视图，HetuEngine可以提供智能预计算与缓存加速能力。HetuEngine QAS角色能够自动提取历史SQL语句进行分析学习，基于收益最大化原则自动生成高价值物化视图的候选SQL。在
针对不同的应用场景，MRS使用到如下类型的弹性云服务器。 通用计算增强型：C3型、C3ne型、C6型、C6s型、C7型 内存优化型：M3型、M6型、M7型 超高I/O型：I3型、IR3型 鲲鹏内存优化型：KM1型 鲲鹏超高I/O型：KI1型 鲲鹏通用计算增强型：KC1型 针对不同的应用场景，MRS使用到如下实例的裸金属服务器。
针对不同的应用场景，MRS使用到如下类型的弹性云服务器。 通用计算增强型：C3型、C3ne型、C6型、C6s型、C7型 内存优化型：M3型、M6型、M7型 超高I/O型：I3型、IR3型 鲲鹏内存优化型：KM1型 鲲鹏超高I/O型：KI1型 鲲鹏通用计算增强型：KC1型 规格命名规则 AB.C.D
percentage参数：每个磁盘的保留空间所占磁盘百分比。DataNode会保留这么多可用空间，以备其他组件如Yarn的NodeManager运行计算时，或者预留升级时使用。 因为预留了10%的磁盘，当磁盘使用率达到90%的时候，HDFS的DataNode即会认为没有可用磁盘空间。 解决办法
'0000012345.1234500000' DECIMAL(20, 10) 二进制算术decimal运算符 支持标准数学运算符。下表说明了结果的精度和范围计算规则。假设x的类型为DECIMAL(xp, xs)，y的类型为DECIMAL(yp, ys)。 运算 结果类型精度 结果类型范围 x + y和x
IoTDB UDF概述 UDF（User Defined Function）即用户自定义函数。IoTDB提供多种内建函数及自定义函数来满足用户的计算需求。 UDF类型 IoTDB支持的UDF函数的类型如表1所示。 表1 UDF函数类型 UDF分类 描述 UDTF（User Defined
Spark任务需要调整executor的overhead内存，设置了参数spark.yarn.executor.memoryOverhead=4096，但实际计算的时候依旧按照默认值1024申请资源。 原因分析 从Spark 2.3版本开始，推荐使用新参数spark.executor.memoryO
在概览页签下的“基本信息”区域单击“HSConsole WebUI”后的链接，进入HSConsole界面。 单击“计算实例”，查看待操作的租户的实例状态，当绿色图标和蓝色图标数量均为“0”时，可执行5配置开启物化视图改写能力。 在“计算实例”页签，在待操作的实例所属租户所在行的“操作”列单击“配置”，进入“配置实例”页签，添加如下自定义参数。
应用场景 本章节适用于将线下IDC机房或者公有云Hive集群中的数据（支持数据量在几十TB级别或以下的数据量级）迁移到华为云MRS服务。 使用华为云CDM服务“场景迁移功能”可以一键式便捷地完成Hive数据的迁移。 本章节以通过华为云CDM服务 2.9.1.200版本进行数据迁移
Bitwise函数 bit_count(x, bits) → bigint 计算2的补码表示法中x中设置的位数（视为有符号位的整数）。 SELECT bit_count(9, 64); -- 2 SELECT bit_count(9, 8); -- 2 SELECT bit_count(-7
性能。 4096 spark.broadcast.compress 在发送广播变量之前是否压缩。建议压缩。 true Storage 内存计算是Spark的最大亮点，Spark的Storage主要管理内存资源。Storage中主要存储RDD在Cache过程中产生的数据块。JVM中
产生告警的主机名 对系统的影响 单个CCWorker进程的内存使用超过最大限制内存后可能会出现进程重启，短暂影响缓存命中率。 可能原因 上层计算服务（Spark/Hive/HetuEngine等）对MemArtsCC组件的并发请求数激增，或者新增了CCWorker的可用磁盘空间，或者业务数据量突增。
数据分析 使用Spark2x实现车联网车主驾驶行为分析 使用Hive加载HDFS数据并分析图书评分情况 使用Hive加载OBS数据并分析企业雇员信息 通过Flink作业处理OBS数据 通过Spark Streaming作业消费Kafka数据 通过Flume采集指定目录日志系统文件至HDFS
现table1表有10条记录，表示有用户名分别为1-10的用户，用户的历史消费金额初始化都是0元。 基于某些业务要求，开发的Spark应用程序实现如下功能： 实时累加计算用户的消费金额信息：即用户总消费金额=用户的消费金额(kafka数据) + 用户历史消费金额(table1表的值)，更新到table1表。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
