检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive客户端执行SQL报错连接超时 现象描述 Hive客户端执行SQL失败，报错：Timed out waiting for a free available connection。 可能原因 DBService连接较多，获取连接超时。 操作步骤 客户端是否使用Spark-SQL客户端执行SQL。
建表语句分区列为timestamp时，使用非标准格式的时间指定分区查询表统计失败 问题 建表语句分区列为timestamp时，使用非标准格式的时间指定分区查询表统计失败以及show partitions table结果编码不对。 执行desc formatted test_hiv
</rule> </rules> </policy> </policies> 在策略，规则和行为操作中使用的标签中，可以添加其他属性，例如“name”可用于管理用户界面（例如：Hue UI）和工具输入xml之间的映射。 示例： <policy name="Manage_File1">
Spark开源增强特性 跨源复杂数据的SQL查询优化 出于管理和信息收集的需要，企业内部会存储海量数据，包括数目众多的各种数据库、数据仓库等，此时会面临以下困境：数据源种类繁多，数据集结构化混合，相关数据存放分散等，这就导致了跨源复杂查询因传输效率低，耗时长。 当前开源Spark
Spark跨源复杂数据的SQL查询优化 场景描述 出于管理和信息收集的需要，企业内部会存储海量数据，包括数目众多的各种数据库、数据仓库等，此时会面临以下困境：数据源种类繁多，数据集结构化混合，相关数据存放分散等，这就导致了跨源复杂查询因传输效率低，耗时长。 当前开源Spark在跨
MRS最佳实践汇总 本文汇总了MapReduce（MRS）服务的常见应用场景，并为每个场景提供详细的方案描述和操作指南，您可以根据本文查看适合您业务的实践教程文档。 MRS最佳实践 开发者社区精选最佳实践 表1 MRS最佳实践 分类 相关文档 数据分析类 使用Spark2x实现车联网车主驾驶行为分析
048M”。 GC_OPTS参数中-XX:MaxDirectMemorySize默认没有配置，如需配置，用户可在GC_OPTS参数中自定义添加。 Put相关参数 RegionServer处理put请求的数据，会将数据写入memstore和hlog， 当memstore大小达到设置的“hbase
STORED AS TEXTFILE; 更新表的结构 一个表在创建完成后，还可以使用ALTER TABLE执行增、删字段，修改表属性，添加分区等操作。 -- 为表employees_info_extended增加tel_phone、email字段. ALTER TABLE
在“集群管理”页面单击待操作集群对应“操作”列的“作业管理”。 在“连接管理”页签，单击“新建连接”。 参考CDM服务的新建连接页面，分别添加到迁移源端集群和迁移目的端集群的两个HDFS连接。 连接类型根据实际集群来选择，如果是MRS集群，连接器类型可以选择“MRS HDFS”，如果是自建集群可以选择“Apache
“GC_OPTS”参数中“-XX:MaxDirectMemorySize”默认没有配置，如需配置，用户可在“GC_OPTS”参数中自定义添加。 Put相关参数 RegionServer处理Put请求的数据，会将数据写入MemStore和HLog： 当MemStore大小达到设置的“hbase
setProperty("java.security.krb5.conf", KRB); LoginUtil.login(PRINCIPAL, KEYTAB, KRB, conf); } // 初始化Job任务对象。 Job job = Job.getInstance(conf
sight Manager创建的角色中关于该组件的权限将失效（HDFS与Yarn的组件ACL规则仍将生效），用户需通过Ranger管理界面添加策略进行资源的赋权。 Ranger的权限模型由多条权限策略组成，权限策略主要由以下几方面组成： 资源 组件所提供的可由用户访问的对象，例如
可根据CPU、WAL积压情况调整。该参数为自定义配置，需选择“IoTDBServer（角色） > 自定义”，在自定义参数“engine.customized.configs”中添加该参数项及参数值。 写并发小，不用更改。 写并发大，可适当调大。 WAL积压，可适当调小。 CPU使用持续80%以上，可适当调小。 avg
Ranger页面OBS授权对象只能针对Manager中自定义的用户组，内置用户组不支持，用户组仅由数字0~9、字母a~Z、下划线或#组成，且最大长度为52个字符，否则将导致策略添加失败。 启用Kerberos认证的集群需要基于Ranger赋权，未启用Kerberos认证的集群默认拥有OBS权限，无需额外配置。 如果当
Flink对接云搜索服务（CSS）样例程序（Java） 功能介绍 当前基于随机数生成器实现了一个持续产生长度为4字符串的数据源用于写入数据。 样例代码 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.flink.examples。 public class
规则列表中的条目为触发告警的规则。 修改告警规则。 添加新规则 单击“添加规则”，参考表1新增指标的监控行为。 单击“确定”保存规则。 在当前已应用规则的所在行，单击“操作”中的“取消应用”。如果没有已应用的规则，则请跳过该步骤。 在新添加规则的所在行，单击“操作”中的“应用”，此时规则的“生效状态”变成“生效”。
操作HBase数据源 场景说明 用户可以在Spark应用程序中以数据源的方式去使用HBase，将dataFrame写入HBase中，并从HBase读取数据以及对读取的数据进行过滤等操作。 数据规划 在客户端执行hbase shell，进入HBase命令行，使用下面的命令创建样例代码中要使用的HBase表：
操作HBase数据源 场景说明 用户可以在Spark应用程序中以数据源的方式去使用HBase，将dataFrame写入HBase中，并从HBase读取数据以及对读取的数据进行过滤等操作。 数据规划 在客户端执行hbase shell，进入HBase命令行，使用下面的命令创建样例代码中要使用的HBase表：
K_HOME/conf/spark-defaults.conf”中的配置项“spark.driver.extraJavaOptions”中添加如下内容： -XX:OnOutOfMemoryError='kill -9 %p' 父主题： Spark应用开发常见问题
K_HOME/conf/spark-defaults.conf”中的配置项“spark.driver.extraJavaOptions”中添加如下内容： -XX:OnOutOfMemoryError='kill -9 %p' 父主题： Spark应用开发常见问题
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
