检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
间，增加集群负载。 日志归档是通过Hadoop Archives功能实现的，Hadoop Archives启动的并行归档任务数（Map数）与待归档的日志文件总大小有关。计算公式为：并行归档任务数=待归档的日志文件总大小/归档文件大小。 配置描述 进入Mapreduce服务参数“全
利用Scala语言开发时，应用程序结束之前必须调用SparkContext.stop()。 以Scala语言开发应用程序为例，分别介绍下正确示例与错误示例。 正确示例： //提交spark作业 val sc = new SparkContext(conf) //具体的任务 ... //应用程序结束
P地址。 以root用户登录主NameNode节点，用户密码为安装前用户自定义，请咨询系统管理员。 使用ping命令检查主NameNode与该JournalNode之间的网络状况，是否有超时或者网络不可达的情况。 ping JournalNode的业务IP地址 是，执行14。 否，执行15。
节点内存够用。如果节点可用内存小于“-Xmx”的值，则节点内存不够用。 是，修改“-XX:MaxDirectMemorySize”的配置值与“-Xmx”配置值相同。 否，适量调大“-XX:MaxDirectMemorySize”的大小，但取值不得超过节点可用内存。 保存配置，重启DataNode实例。
注意堆内存设置时，可以设置“-Xms” “-Xmx”近似相等，从而避免每次GC后调整堆的大小，从而引起性能下降。 同时，并且“-Xmx”与“XX:MaxPermSize”之和不得大于该节点服务器的实际物理内存值。 重启受影响的服务或实例，观察界面告警是否清除。 是，处理完毕。 否，执行6。
rce速度指标”，检查告警中的Source速度是否为0。 是，执行11。 否，执行步骤7。 检查Flume Source配置的IP所在节点与故障节点的网络状态。 本地打开用户自定义配置文件properties.properties，搜索配置文件中是否有“type = avro”关键字确认Flume
目前推荐将该值设置为逻辑CPU核数的1.5～2倍之间。 若任务为计算密集型，该参数可设置为与逻辑CPU核数一致。 若任务为非计算密集型资源，该参数可设置为逻辑CPU核数的1.5～2倍之间。 若任务所使用的CPU核数与内存资源差异较大时，CPU资源可参考实际的内存资源进行配置。例如大部分任务使用1核3G，如果“yarn
alter table tableName add columns(columnName columnType); 在源端数据库中新增与Hudi新增的同样列名与数据类型。 在CDL WebUI界面启动1停止的任务。 修改字段类型 字段类型转换时，需要确保源值的数据类型能够正确转换为目标类
该服务中所有角色实例状态为“未知”。 正在恢复 后台系统正在尝试自动启动服务。 亚健康 该服务所依赖的服务状态不正常，异常服务的相关接口无法被外部调用，此时与状态不正常服务相关的上层业务会受到影响。 HBase、Hive、Spark和Loader组件可显示“亚健康”（Subhealthy）状态。
以更新、删除本策略，它还可以基于原始策略创建子策略。 Deny Conditions 策略拒绝条件，配置本策略内拒绝的权限及例外，配置方法与“Allow Conditions”类型。 表2 设置权限 任务场景 角色授权操作 role admin操作 在首页中单击“Settings”，选择“Roles”。
field，hoodie.datasource.write.recordkey.field产生主键和分区方式。 说明： 写入设置KeyGenerator与表保存的参数值不一致时将提示需要保持一致。 org.apache.hudi.keygen.ComplexKeyGenerator 同步Hive表配置
true hoodie.bloom.index.use.treebased.filter 为true时，启用基于间隔树的文件过滤优化。与暴力模式相比，此模式可根据键范围加快文件过滤速度。 true hoodie.bloom.index.bucketized.checking
参考Hive JDBC代码用例开发的业务应用运行失败 问题背景与现象 用户参考Hive组件的“jdbc-examples”样例工程，完成其自身业务应用开发后，运行此应用失败。应用侧报如下异常： .......... 2017-05-11 14:33:52.174 ERROR
coalesce(numPartitions: Int, shuffle: Boolean = false) 当shuffle为true的时候，函数作用与repartition(numPartitions: Int)相同，会将数据通过Shuffle的方式重新分区；当shuffle为false的
区内灵活地组合计算存储资源，包括专属计算资源+共享存储资源、共享计算资源+专属存储资源、专属计算资源+专属存储资源。 主机安全 MRS支持与公有云安全服务集成，支持漏洞扫描、安全防护、应用防火墙、堡垒机、网页防篡改等。针对操作系统和端口部分，华为云提供如下安全措施： 操作系统内核安全加固
时长。 HetuEngine提供了统一标准SQL实现跨源协同分析，简化跨源分析操作。 图1 永洪BI访问MRS HetuEngine 约束与限制 已安装Yonghong Desktop 9.1版本。 适用于LTS版的MRS 3.1.2及以后版本集群。 步骤一：创建MRS集群和计算实例
存不够时直接抛错，设置了该值order by可以正常完成，但是速度非常慢。 0 25GB 否 keep_alive_timeout 服务端与客户端保持长连接的时长，单位为秒。 10 600 否 max_concurrent_queries 最大支持的查询并发。 100 150 否
jar”，jar包名称以实际打包结果为准。 上传生成的应用包“MRTest-XXX.jar”到Linux客户端上，例如/opt/client/conf，与配置文件位于同一目录下。 在Linux环境下运行样例工程。 对于MapReduce统计样例程序，执行如下命令。 yarn jar MRTest-XXX
安装集群客户端的Linux节点并获取相关配置文件。 在节点中安装客户端，例如客户端安装目录为“/opt/client”。 客户端机器的时间与集群的时间要保持一致，时间差小于5分钟。 集群的Master节点或者Core节点使用客户端可参考集群内节点使用MRS客户端，MRS集群外客户
coalesce(numPartitions: Int, shuffle: Boolean = false) 当shuffle为true的时候，函数作用与repartition(numPartitions: Int)相同，会将数据通过Shuffle的方式重新分区；当shuffle为false的
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
