检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
MRS 1.9.0.7补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 1.9.0.7 发布时间 2021-01-15 解决的问题 MRS 1.9.0.7 修复问题列表: MRS Manager 解决扩容刷新队列导致队列丢失问题 MRS大数据组件 解决Hive on Spark任务报block
ssl.historyServer.enabled 配置history server是否使用SSL。 true spark.files.overwrite 当目标文件存在时,且其内容与源的文件不匹配。是否覆盖通过SparkContext.addFile()添加的文件。 false spark
ssl.historyServer.enabled 配置history server是否使用SSL。 true spark.files.overwrite 当目标文件存在时,且其内容与源的文件不匹配。是否覆盖通过SparkContext.addFile()添加的文件。 false spark
“队列长度”:表示超出并发数,在队列中等待执行的查询任务数上限。 “队列等待时长(毫秒)”:表示在队列中,任务的最长等待时间,单位为毫秒。 “开启内存软隔离”:表示租户是否可以超量使用内存资源。如果开启,系统有空闲内存资源时,则租户在超出内存限制后,可以继续使用系统内存,只有资源紧张时,才取消组内内存占用最大的若干任务。
rk SQL样例程序。 增强特性 对比开源社区,华为还提供了两个增强特性,JDBCServerHA方案和设置JDBCServer连接的超时时间。 JDBCServer的HA方案,多个JDBCServer主节点同时提供服务,当其中一个节点发生故障时,新的客户端连接会分配到其他主节点
datasource.opentsdb.randomSeed 当spark.sql.datasource.opentsdb.host配置多个地址时,是否使用随机种子。配置为否时,所有在相同节点的executor会连接相同的host,这样可以配合spark.blacklist.enabled=true来实现Task容错。
描述 是否必填 table String类型,表名或者库名.表名 否,table和path二选一 path String类型,表的绝对路径 否,table和path二选一 spec String类型,正则表达式 是 ttl_policy_empty命令: 参数 描述 是否必填 table
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
网名称和ID。如果VPC下未创建子网,请单击“创建子网”进行创建。 集群节点 保持默认 配置集群节点信息。 Kerberos认证 不开启 是否启用Kerberos认证。 用户名 admin/root 登录集群管理页面及ECS节点的用户名。 密码 - 设置登录集群管理页面及ECS节点用户的密码。
通过Spark-sql创建Hudi表或者Hive表,未插入数据前,查询表统计信息为空 建表语句分区列为timestamp时,使用非标准格式的时间指定分区查询表统计失败 SQL语法兼容TIMESTAMP/DATE特殊字符 父主题: 使用Spark/Spark2x
在spark-beeline中创建或删除表失败 集群外节点提交Spark作业时报错无法连接Driver 运行Spark任务发现大量shuffle结果丢失 JDBCServer长时间运行导致磁盘空间不足 spark-shell执行SQL跨文件系统load数据到Hive表失败 Spark任务提交失败 Spark任务运行失败
HBase故障排除 HBase客户端连接服务端时,长时间无法连接成功 在HBase连续对同一个表名做删除创建操作时出现创建表异常 HBase占用网络端口,连接数过大会导致其他服务不稳定 有210000个map和10000个reduce的HBase BulkLoad任务运行失败 使
rk SQL样例程序。 增强特性 对比开源社区,华为还提供了两个增强特性,JDBCServerHA方案和设置JDBCServer连接的超时时间。 JDBCServer的HA方案,多个JDBCServer主节点同时提供服务,当其中一个节点发生故障时,新的客户端连接会分配到其他主节点
ulkPutExample文件: 代码中通过awaitTerminationOrTimeout()方法设置了任务超时时间(单位为毫秒),建议根据期望的任务运行时间调整参数大小。 public static void main(String[] args) throws IOException
API进行增强,能自动针对此类型任务关闭Sort过程。当Sort被关闭,获取Maps输出数据以后,直接合并后输出给Reduce,避免了由于排序而浪费大量时间。这种方式极大程度地提升了大部分SQL任务的效率。 MapReduce开源增强特性:History Server优化解决日志小文件问题 运
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]