检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Print样例请使用SASL_PLAINTEXT协议端口号，Write To Kafka 0-10样例请使用PLAINTEXT协议端口号。 进入Spark客户端目录，调用bin/spark-submit脚本运行代码，运行命令分别如下（类名与文件名等请与实际代码保持一致，此处仅为示例）： Spark Streaming读取Kafka
文件名的后缀 file.fileName.posfix=.txt 文件名中包含的日期格式 file.date.format = yyyyMMdd 调用脚本输入的日期参数 parameter.date.format = yyyyMMdd 顺延的天数 date.day = 1 例如，脚本传入
重启备ResourceManager实例，服务业务不受影响。 集群中的NodeManager实例数量和ResourceManager内存大小的对应关系参考如下： 集群中的NodeManager实例数量达到100，ResourceManager实例的JVM参数建议配置为：-Xms4G -Xmx4G
败问题。 MRS大数据组件 MRS Hive解决hive server内存泄露问题：HIVE-10970、HIVE-22275。 补丁兼容关系 MRS 2.1.0.8补丁包中包含MRS 2.1.0版本发布的所有补丁内容。 已修复漏洞披露 解决Spark远程代码执行漏洞，漏洞详细请参考CVE-2020-9480
点互通。如果URL中配置的LDAP主机名，则需要在HiveServer节点的“/etc/hosts”文件中配置相应LDAP主机名和IP映射关系。 ldap://xxx:xxx hive.server2.authentication.ldap.userDNPattern 在此目录中
duce任务或者HDFS操作。 图1 Hive结构 Metastore：对表，列和Partition等的元数据进行读写及更新操作，其下层为关系型数据库。 Driver：管理HQL执行的生命周期并贯穿Hive任务整个执行期间。 Compiler：编译HQL并将其转化为一系列相互依赖的Map/Reduce任务。
重启备ResourceManager实例，服务业务不受影响。 集群中的NodeManager实例数量和ResourceManager内存大小的对应关系参考如下： 集群中的NodeManager实例数量达到100，ResourceManager实例的JVM参数建议配置为：-Xms4G -Xmx4G
e -Djava.io.tmpdir=${Bigdata_tmp_dir} NameNode文件数量和NameNode使用的内存大小成比例关系，文件对象变化时请修改默认值中的“-Xms2G -Xmx4G -XX:NewSize=128M -XX:MaxNewSize=256M”。参考值如下表所示。
相关参数如下: tablename.to.index：表示创建索引的表名称。 indexspecs.to.add：表示索引名对应表的列的映射关系。 scan.caching（可选）：包含一个整数值，表示在扫描数据表时将传递给扫描器的缓存行数。 上述命令中的参数描述如下： idx_1：表示索引名称
Administrator和KMS Administrator权限。 OBS权限控制 单击“单击管理”，修改MRS用户与OBS权限的映射关系，具体请参考配置MRS集群用户的OBS的细粒度访问权限。 日志记录 用于收集集群创建失败及扩缩容失败的日志。 通讯安全授权 展示安全授权状
加载Hive JDBC驱动 Class.forName(HIVE_DRIVER); 获取JDBC连接，确认HQL的类型（DDL/DML），调用对应的接口执行HQL，输出查询的列名和结果到控制台，关闭JDBC连接。 Connection connection = null;
加载Hive JDBC驱动 Class.forName(HIVE_DRIVER); 获取JDBC连接，确认HQL的类型（DDL/DML），调用对应的接口执行HQL，输出查询的列名和结果到控制台，关闭JDBC连接。 Connection connection = null;
这增强了首次查询性能 carbon.enable.compact.autoclean false 在设置为true时，会在执行compact成功后调用clean files命令来清理废弃文件。 说明： MRS 3.2.0及之后版本支持才支持该功能。 查询配置 max.query.execution
JDBC驱动 Class.forName(HIVE_DRIVER); 填写正确的用户名，获取JDBC连接，确认HQL的类型（DDL/DML），调用对应的接口执行HiveQL，输出查询的列名和结果到控制台，关闭JDBC连接。 Connection connection = null;
执行以下命令，切换IoTDB客户端运行脚本所在目录。 cd /opt/client/IoTDB/iotdb/sbin 集群未启用Kerberos认证（普通模式）需先调用“alter-cli-password.sh”脚本修改默认用户root的默认密码： sh alter-cli-password.sh IoTDBServer实例节点IP
Jar包对接MRS集群HetuEngine组件。对接成功后，可在DBeaver中查看HetuEngine已对接的数据源信息。 Hive对接外置自建关系型数据库 本实践介绍如何使用Hive对接开源MySQL和Postgres数据库。 在已有Hive数据的集群上外置元数据库后，之前的元数据表
数据量非常小的事实表 这种可以在预估很长一段时间的数据增长量的前提下使用非分区表预留稍宽裕一些的桶数来提升读写性能。 确认表内桶数 Hudi表的桶数设置，关系到表的性能，需要格外引起注意。 以下几点，是设置桶数的关键信息，需要建表前确认。 非分区表 单表数据总条数 = select count(1)
--command-config ../config/client.properties --topic 主题名称 执行以下命令，查询Broker_ID和IP对应关系。 ./kafka-broker-info.sh --zookeeper ZooKeeper的quorumpeer实例业务IP:ZooKeeper客户端端口号/kafka
点服务使更改的配置生效。 “hbase.rpc.protection”与“hbase.thrift.security.qop”参数值的对应关系为： "privacy" - "auth-conf" "authentication" - "auth" "integrity" - "auth-int"
败问题。 MRS大数据组件 MRS Hive解决hive server内存泄露问题：HIVE-10970、HIVE-22275。 补丁兼容关系 MRS 2.1.0.9补丁包中包含MRS 2.1.0版本发布的所有补丁内容。 已修复漏洞披露 解决Spark远程代码执行漏洞，漏洞详细请参考CVE-2020-9480
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
