检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
“建表”。 单击“确定”完成。 在权限管理中,为了方便用户使用,授予数据库下表的任意权限将自动关联该数据库目录的HDFS权限。为了避免产生性能问题,取消表的任意权限,系统不会自动取消数据库目录的HDFS权限,但对应的用户只能登录数据库和查看表名。 如果为角色添加或删除数据库的查询
Spark数据保护黑名单中防止创建表Location指定路径到库后,导致删除表之后库数据丢失。 Spark启用Ranger鉴权场景中的show tables性能增强。 Spark查询数据量与Hive查询数据量不一致。 DGC并发提交Flink作业偶现下载keytab文件失败。 Impala异常重启。Impala
消息节点。 高吞吐量 Kafka通过以下方式提供系统高吞吐量: 数据磁盘持久化:消息不在内存中缓存,直接写入到磁盘,充分利用磁盘的顺序读写性能。 Zero-copy:减少IO操作步骤。 数据批量发送:提高网络利用率。 Topic划分为多个Partition,提高并发度,可以由多个
truststore的password,-表示需要用户输入自定义设置的密码值。 如果打开Task Manager之间data传输通道的SSL,对性能会有较大影响,需要用户从安全和性能综合考虑。 配置文件中包含认证密码信息可能存在安全风险,建议当前场景执行完毕后删除相关配置文件或加强安全管理。 参考签发F
解决hive on Spark读取数据异常问题 解决Hive on mrs任务执行两次数据量增大问题 解决Hive开启矢量向量化查询有些字符串性能差问题 MRS 1.9.0.5 修复问题列表: MRS Manager MRS Manager优化保存配置时的服务重启过程 MRS Manager解决周期备份失败问题
VARBINARY Fixedstring(N) VARCHAR / VARBINARY Date DATE DateTime TIMESTAMP 性能优化 查询下推 支持使用查询下推功能,提高查询速度。 Scalar UDF下推 Scalar UDF下推功能默认打开。使用该功能前需根据需
建议使用新的API createDirectStream代替旧的API createStream进行应用程序开发。旧的API仍然可以使用,但新的API性能和稳定性更好。 该样例代码只存在于mrs-sample-project-1.6.0.zip中。 /** * 参数解析: * <chec
建议使用新的API createDirectStream代替旧的API createStream进行应用程序开发。旧的API仍然可以使用,但新的API性能和稳定性更好。 /** * 参数解析: * <groupId>为客户的组编号。 * <brokers>为获取元数据的Kafka地址。
建议使用新的API createDirectStream代替旧的API createStream进行应用程序开发。旧的API仍然可以使用,但新的API性能和稳定性更好。 /** * 参数解析: * <groupId>为客户的组编号。 * <brokers>为获取元数据的Kafka地址。
建议使用新的API createDirectStream代替旧的API createStream进行应用程序开发。旧的API仍然可以使用,但新的API性能和稳定性更好。 /** * 参数解析: * <groupId>为客户的组编号。 * <brokers>为获取元数据的Kafka地址。
建议使用新的API createDirectStream代替旧的API createStream进行应用程序开发。旧的API仍然可以使用,但新的API性能和稳定性更好。 /** * 参数解析: * <groupId>为客户的组编号。 * <brokers>为获取元数据的Kafka地址。
int_type_t1; 固定精度型 名称 描述 存储空间 取值范围 字面量 DECIMAL 固定精度的十进制数。精度最高支持到38位,但精度小于18位能保障性能最好。 Decimal有两个输入参数: precision:总位数,默认38 scale:小数部分的位数,默认0 说明: 如果小数位为零,即十进制(38
小: 数据存储和计算分离,数据存储在OBS系统中,集群费用相对较低,计算性能不高,并且集群随时可以删除,建议数据计算不频繁场景下使用。 数据存储和计算不分离,数据存储在HDFS中,集群费用相对较高,计算性能高,集群需要长期存在,建议数据计算频繁场景下使用。 约束限制: 不建议使用
JavaDstreamKafkaWriter: Spark版本升级后,推荐使用新接口createDirectStream,老接口createStream仍然存在,但是性能和稳定性差,建议不要使用老接口开发应用程序。 该样例代码只存在于mrs-sample-project-1.6.0.zip中 // 参数解析:
从而实现按需灵活扩展资源、低成本的海量数据分析方案。 约束与限制 大数据存算分离场景,请务必使用OBS并行文件系统,使用普通对象桶会对集群性能产生较大影响。 操作流程 本章节指导用户创建Hive表存放数据到OBS,基本流程如下所示: 步骤一:创建ECS委托 步骤二:为MRS集群配置委托
HBase > 配置 > 全部配置”,查看“hbase.bucketcache.size”配置是否合理,该值越大读缓存越大,有助于提升读取性能,在节点剩余内存前提下适当调大该配置,单击“保存”保存配置。单击“概览”,选择“更多 > 重启服务”,重启HBase服务。 等待几分钟后,在告警列表中查看该告警是否清除。
r中的上层组件,在备份恢复这类数据时,需确保单个备份或恢复任务的znode数量不会过大,否则会造成任务失败,并影响Zookeeper的服务性能。可通过如下方法确认单个备份或恢复任务的znode数量: 单个备份或恢复任务的znode数量要少于操作系统的文件句柄限制。查看句柄限制的方式如下:
t.sql 运行程序参数 可选参数,为本次执行的作业配置相关优化参数(例如线程、内存、CPU核数等),用于优化资源使用效率,提升作业的执行性能。 HiveSql作业常用的运行程序参数如表2所示,可根据执行程序及集群资源情况进行配置。 - 服务配置参数 可选参数,用于为本次执行的作业修改服务配置参数。
“建表”。 单击“确定”完成。 在权限管理中,为了方便用户使用,授予数据库下表的任意权限将自动关联该数据库目录的HDFS权限。为了避免产生性能问题,取消表的任意权限,系统不会自动取消数据库目录的HDFS权限,但对应的用户只能登录数据库和查看表名。 若为角色添加或删除数据库的查询权
NetworkCardName 产生告警的网口名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 业务性能下降或者个别业务出现超时问题。 风险提示:在SuSE内核版本3.0以上或Red Hat 7.2版本,由于系统内核修改了网络读包丢包数的计数