检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Executor内存。 Executor的内存主要用于任务执行、通信等。当一个任务很大的时候，可能需要较多资源，因而内存也可以做相应的增加；当一个任务较小运行较快时，就可以增大并发度减少内存。 将“spark-defaults.conf”中的“spark.executor.memory”配置项或者“spark-env
max_bytes_before_external_sort 如果没有足够的内存，可以使用该参数来设置外部排序（在磁盘中创建一些临时文件）。默认为0表示禁用外部排序功能，当内存不够时直接抛错，设置了该值order by可以正常完成，但是速度非常慢。 0 25GB 否 keep_alive_timeout
定在用户配置的默认节点数量范围内。 自动化脚本： 用户可以设置自定义脚本，当弹性伸缩触发时，在集群节点上自动运行。 用户最多可以为一个集群设置10个自动化脚本。 可以指定自动化脚本某种或多种类型的节点上执行。 脚本执行时机可以是扩容前、扩容后、缩容前或缩容后。 使用自动化脚本前，
configs）中设置该参数。 flush_proportion IoTDBServer 0.4 调用刷盘的写内存比例，如果写入负载过高（如批处理=1000），可以降低该值。 replica_affinity_policy IoTDBServer random 当“read_consistency_l
如果配置为false（不建议配置），表示向该分片的所有副本中写入相同的数据（副本间数据一致性不强，无法保证完全同步）。 macros标签 当前实例节点所在的分片和副本编号，可以用于区别不同的副本。 例如，上述配置对应host3节点实例，该实例所在分片编号shard为2，副本编号replica为1。 本章节详细描述
MRS可以做什么？ 问： MapReduce Service（MRS）可以做什么？ 答： MapReduce服务（MapReduce Service）为客户提供ClickHouse、Spark、Flink、Kafka、HBase等Hadoop生态的高性能大数据引擎，支持数据湖、数
若提示setuptools的47.3.1版本安装不成功，则需要检查环境是否有问题或是Python自身原因导致的。 客户端机器必须安装有jaydebeapi，可以通过该模块使用java的JDBC来连接数据库。 可通过如下两种方式安装： pip安装： 在客户端节点执行pip install JayDeBeApi。
若提示setuptools的47.3.1版本安装不成功，则需要检查环境是否有问题或是Python自身原因导致的。 客户端机器必须安装有jaydebeapi，可以通过该模块使用java的JDBC来连接数据库。 可通过如下两种方式安装： pip安装： 在客户端节点执行pip install JayDeBeApi。
的字典顺序排序，因此，如果按照某个指定的RowKey去查询数据，或者指定某一个RowKey范围去扫描数据时，HBase可以快速定位到需要读取的数据位置，从而可以高效地获取到所需要的数据。 在实际应用中，很多场景是查询某一个列值为“XXX”的数据。HBase提供了Filter特性去
不同版本的Hive之间是否可以兼容？ Hive 3.1版本与Hive 1.2版本相比不兼容内容主要如下： 字段类型约束：Hive 3.1不支持String转成int。 UDF不兼容：Hive 3.1版本UDF内的Date类型改为Hive内置。 索引功能废弃。 驱动不兼容：Hive
s，那么close函数最多需要25.2秒才能返回。 解决办法 可以通过调整客户端参数dfs.client.block.write.locateFollowingBlock.retries的值来增加retry的次数，可以将值设置为6，那么中间睡眠等待的时间为400ms、800ms、
MRS集群内的节点中可以部署爬虫服务吗？ 问： MRS集群内的节点中可以部署爬虫服务吗？ 答： 为正常保障集群稳定运行，MRS集群内节点中不能部署爬虫服务或其他第三方服务。 父主题： 周边生态对接类
是否可以手动调整DataNode数据存储目录 问题 数据块在DataNode上的存储目录由“dfs.datanode.data.dir”配置项指定，是否可以修改该配置项来修改数据存储目录？ 是否可以手动拷贝数据存储目录下的文件？ 回答 “dfs.datanode.data.dir
是否可以手动调整DataNode数据存储目录 问题 数据块在DataNode上的存储目录由“dfs.datanode.data.dir”配置项指定，是否可以修改该配置项来修改数据存储目录？ 是否可以手动拷贝数据存储目录下的文件？ 回答 “dfs.datanode.data.dir
密码为Admin@123Test#$%@123。 重置后的密码必需满足当前用户密码策略，使用omm用户登录主OMS节点后，执行如下工具脚本可以获取到修改域名后的“人机”用户密码。 sh ${BIGDATA_HOME}/om-server/om/sbin/get_reset_pwd
使用scan命令仍然可以查询到已修改和已删除的数据 问题 为什么使用如下scan命令仍然可以查询到已修改和已删除的数据？ scan '<table_name>',{FILTER=>"SingleColumnValueFilter('<column_family>','column'
Table有schema和primary key属性，且可以划分为多个tablet。 Tablet Tablet是指数据分片，可以指定副本数，存放在多个tablet server上，多个副本中有一个是leader tablet；所有的副本都可以读，但是写操作只有leader可以，写操作利用一致性算法（Raft）。
使用scan命令仍然可以查询到已修改和已删除的数据 问题 为什么使用如下scan命令仍然可以查询到已修改和已删除的数据？ scan '<table_name>',{FILTER=>"SingleColumnValueFilter('<column_family>','column'
Kudu Table可以创建为内部表或外部表，其中内部表由Impala管理，而外部表不由Impala管理，但可以通过Impala进行查询。 Table有schema和primary key属性，且可以划分为多个tablet。 Tablet Tablet是指数据分片，可以指定副本数，存放在多个tablet
FileSystem get(Configuration conf); 该类封装了几乎所有的文件操作，例如mkdir，delete等。综上基本可以得出操作文件的程序库框架： operator() { 得到Configuration对象 得到FileSystem对象
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
