检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用参数“spark.dynamicAllocation.executorIdleTimeout”并将此参数值设置为15min（或平均查询时间）。 正确配置参数“spark.dynamicAllocation.maxExecutors”，不推荐使用默认值（2048），否则Carb
否，执行17。 执行smartctl -t long /dev/sd[x]命令触发磁盘smart自检。命令执行后，会提示自检完成的时间，在等待自检完成后，重新执行8和9，检查磁盘是否正常。 例如执行： smartctl -t long /dev/sda 是，执行16。 否，执行17。 执行smartctl
soft-pending-compaction-bytes-limit”和“state.backend.rocksdb.hard-pending-compaction-bytes-limit”的值）。 是：在Flink WebUI的作业开发界面，调整如下自定义参数的值并保存后执行8。 表1 调整自定义参数
）处理形成模型化数据，以便提供给各个业务模块进行分析梳理，这类业务通常有以下特点： 对执行实时性要求不高，作业执行时间在数十分钟到小时级别。 数据量巨大。 数据来源和格式多种多样。 数据处理通常由多个任务构成，对资源需要进行详细规划。 例如在环保行业中，可以将天气数据存储在OBS
PMS是MRS的监控进程，此进程会经常创建表分区或者新表，由于PostgreSQL会缓存当前会话访问过的对象的元数据，且PMS的数据库连接池连接会长时间存在，所以连接占用的内存会逐渐上升。 处理步骤 以root用户登录主Master节点。 执行如下命令查询PMS进程号。 ps -ef | grep
登录MRS集群详情页面，选择“告警管理”。 在实时告警列表中，单击此告警所在行。 在“告警详情”区域，从“定位信息”中获取“HostName”、“PartitionName”和“DirName”。 确认“HostName”节点的“PartitionName”对应的磁盘是否在对应服务器的插槽上。 是，执行5。 否，执行6。
MRS 1.7.1.3补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 1.7.1.3 发布时间 2018-09-18 解决的问题 MRS Manager MRS Manager新增运维通道功能。 MRS Manager单击审计日志详细信息下载报错。 MRS Manag
单位：byte。 134217728（即128M） spark.files.openCostInBytes 打开文件的预估成本， 按照同一时间能够扫描的字节数来测量。当一个分区写入多个文件时使用。高估更好，这样小文件分区将比大文件分区更先被调度。 4M 父主题： Spark SQL性能调优
设置单个HDFS目录下最大可容纳的文件数目。保存修改的配置。保存完成后请重新启动配置过期的服务或实例以使配置生效。 用户尽量将数据做好存储规划，可以按时间、业务类型等分类，不要单个目录下直属的文件过多，建议使用默认值，单个目录下约100万条。 父主题： 使用HDFS
锁定MRS集群用户对系统的影响 用户被锁定后，不能在Manager重新登录或在集群中重新进行身份认证。锁定后的用户需要管理员手动解锁或者等待锁定时间结束才能恢复使用。 锁定用户 MRS 3.x及之后版本： 登录Manager页面。 选择“系统 > 权限 > 用户”。 在要锁定用户所在行，单击“锁定”。
client.hedged.read.threshold.millis HDFS客户端决定是否启动多路读取之前等待第一个数据块的第一个字节的时间，单位：毫秒。 250 大于等于1 dfs.client.hedged.read.threadpool.size 多路读取线程池的大小，设置参数值大于0时启用多路读功能。
通过Spark-sql创建Hudi表或者Hive表，未插入数据前，查询表统计信息为空 建表语句分区列为timestamp时，使用非标准格式的时间指定分区查询表统计失败 SQL语法兼容TIMESTAMP/DATE特殊字符 父主题： 使用Spark/Spark2x
设置单个HDFS目录下最大可容纳的文件数目。保存修改的配置。保存完成后请重新启动配置过期的服务或实例以使配置生效。 用户尽量将数据做好存储规划，可以按时间、业务类型等分类，不要单个目录下直属的文件过多，建议使用默认值，单个目录下约100万条。 父主题： 使用HDFS
单位：byte。 134217728（即128M） spark.files.openCostInBytes 打开文件的预估成本， 按照同一时间能够扫描的字节数来测量。当一个分区写入多个文件时使用。高估更好，这样小文件分区将比大文件分区更先被调度。 4M 父主题： Spark SQL性能调优
单位：byte。 134217728（即128M） spark.files.openCostInBytes 打开文件的预估成本， 按照同一时间能够扫描的字节数来测量。当一个分区写入多个文件时使用。高估更好，这样小文件分区将比大文件分区更先被调度。 4M 父主题： Spark SQL性能调优
单位：byte。 134217728（即128M） spark.files.openCostInBytes 打开文件的预估成本， 按照同一时间能够扫描的字节数来测量。当一个分区写入多个文件时使用。高估更好，这样小文件分区将比大文件分区更先被调度。 4M 父主题： Spark SQL性能调优
ser_libs/cdluser.keytab Principal cdluser Description xxx 参数配置完成后，单击“测试连接”，检查数据连通是否正常。 连接校验通过后，单击“确定”完成数据连接创建。 （可选）选择“ENV管理 > 新建ENV”，进入“新建EN
使用安装客户端的用户登录客户端所在节点。 执行以下命令，防止超时退出。 TMOUT=0 执行完本章节操作后，请及时恢复超时退出时间，执行命令TMOUT=超时退出时间。例如：TMOUT=600，表示用户无操作600秒后超时退出。 执行以下命令，进入Loader客户端安装目录。例如，Loa
可通过klist命令查看本地是否有有效票据，如下信息表明票据在16年12月24日14:11:42生效，将在16年12月25日14:11:40失效。此期间内可以使用该票据，其他时间则该票据无效。 klist Ticket cache: FILE:/tmp/krb5cc_0 Default principal: xxx@HADOOP
使用安装客户端的用户登录客户端所在节点。 执行以下命令，防止超时退出。 TMOUT=0 执行完本章节操作后，请及时恢复超时退出时间，执行命令TMOUT=超时退出时间。例如：TMOUT=600，表示用户无操作600秒后超时退出。 执行以下命令，进入Loader客户端安装目录。例如，Loa
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
