检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
etu-examples”目录下的样例工程文件夹“python3-examples”。 进入“python3-examples”文件夹。 normal文件夹：普通模式下对接HetuEngine的python3样例代码 security文件夹：安全模式下对接HetuEngine的python3样例代码。
ne UDF，大于5个入参的HetuEngine UDF将无法被注册。 需要将所有依赖文件都打包到jar包里。 （可选）若用户存在HetuEngine UDF依赖的配置文件，建议将其作为资源文件放在resources目录下，即可打包到HetuEngine UDF函数包中。 部署HetuEngine
同步策略，每1000个tuple对文件系统进行一次同步 // HdfsBolt必选参数 SyncPolicy syncPolicy = new CountSyncPolicy(1000); // 文件大小循环策略，当文件大小到达5M时，从头开始写
下载认证凭据”下载认证凭据文件，保存后解压得到用户的“user.keytab”文件与“krb5.conf”文件。Keytab文件用于在样例工程中进行安全认证，具体使用请参考各服务的开发指南指导。 如果用户类型是人机，需要先修改初始密码后再下载认证凭据文件，否则在使用时会提示“Password
分布式管理：提供集群模式，能够自动管理多个数据库节点。 列式存储与数据压缩 ClickHouse是一款使用列式存储的数据库，数据按列进行组织，属于同一列的数据会被保存在一起，列与列之间也会由不同的文件分别保存。 在执行数据查询时，列式存储可以减少数据扫描范围和数据传输时的大小，提高了数据查询的效率。
File or Project”对话框。 在弹出窗口选择文件夹“hive-rest-client-example”，单击“OK”，Windows下要求该文件夹的完整路径不包含空格。 设置IntelliJ IDEA的文本文件编码格式，解决乱码显示问题。 在IntelliJ IDEA的菜单栏中，选择“File
Text, Text, IntWritable> { /** * map的输入，key为原文件位置偏移量，value为原文件的一行字符数据。 * 其map的输入key，value为文件分割方法InputFormat提供，用户不设置，默认 * 使用TextInputFormat。
参数解释： Master节点数据磁盘存储类别，目前支持SATA、SAS和SSD。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 masterDataVolumeSize Integer 参数解释： Master节点数据磁盘存储空间。为增大数据存储容量，创建集群时可同时添加磁盘。单位为GB。
以下操作皆以用户使用FusionInsight客户端提交Spark2x应用为基础，若用户使用了自己的配置文件目录，则需要修改本应用配置目录中的对应文件，并注意需要将配置文件上传到executor端。 由于hdfs和hbase客户端访问服务端时，使用hostname配置服务端地址
IP地址”为MySQL实例IP地址，需要和MRS集群网络互通 。 用户名和密码为登录MySQL的连接用户名和密码。 配置文件中包含认证密码信息可能存在安全风险，建议当前场景执行完毕后删除相关配置文件或加强安全管理。 分别上传配置文件到Master节点（Coordinator实例所在节点）的“/opt/Bigdata
ClickHouse日志管理规则 日志路径 ClickHouse相关日志的默认存储路径为：“${BIGDATA_LOG_HOME}/clickhouse”。 ClickHouseServer运行相关日志：“/var/log/Bigdata/clickhouse/clickhouseServer/
CDL日志介绍 日志描述 日志路径：CDL默认的日志存储路径为“/var/log/Bigdata/cdl/角色名简写”。 CDLService：“/var/log/Bigdata/cdl/service”（运行日志），“/var/log/Bigdata/audit/cdl/service”（审计日志）。
使用特定的规则扫描Hbase表。 运行前置操作 安全模式下Spark Core样例代码需要读取两个文件（user.keytab、krb5.conf）。user.keytab和krb5.conf文件为安全模式下的认证文件，需要在FusionInsight Manager中下载principal用户的
thon文件（*.py）即可。 以下操作步骤以导入Java样例代码为例。操作流程如图1所示。 图1 导入样例工程流程 操作步骤 参考获取MRS应用开发样例工程，获取样例代码解压目录中“spark-examples”目录下的“sparknormal-examples”文件夹中的Scala、Spark
Flink基于Yarn的集群部署 Flink Yarn Client首先会检验是否有足够的资源来启动Yarn集群，如果资源足够，会将Jar包、配置文件等上传到HDFS。 Flink Yarn Client首先与Yarn Resource Manager进行通信，申请启动Application
Archive（归档）是为了减轻Hudi读写元数据的压力，所有的元数据都存放在这个路径：Hudi表根目录/.hoodie目录，如果.hoodie目录下的文件数量超过10000就会发现Hudi表有非常明显的读写时延。 规则 Hudi表必须执行Archive。 对于Hudi的MOR类型和COW类型的表，都需要开启Archive。
t写入小数据量时可能触发更新数据的小文件合并，使在Mor表的读优化视图中能查到部分更新数据。 当update的数据对应的base文件是小文件时，insert中的数据和update中的数据会被合在一起和base文件直接做合并产生新的base文件，而不是写log。 分区设置操作 Hu
无法为基于HDFS服务的HBase和MapReduce等上层部件提供服务。用户无法读写文件。 可能原因 ZooKeeper服务异常。 所有NameService服务异常。 业务请求量过大，HDFS健康检查读写文件异常。 HDFS FullGC导致健康检查失败。 处理步骤 检查ZooKeeper服务状态。
”列选择“更多 > 下载认证凭据”。保存后解压得到用户的user.keytab文件与krb5.conf文件。用于在样例工程中进行安全认证。 参考信息 如果修改了组件的配置参数，需重新下载客户端配置文件并更新运行调测环境上的客户端。 父主题： 准备Impala应用开发环境
1及之后版本。 开启Succinct Trie后，HFile文件将不兼容开源版本，如果使用HFile进行数据迁移，且需要迁移到MRS 3.2.0及之前版本时，需要先关闭此特性，再对数据表执行major compaction生成新的HFile文件。 操作步骤 登录集群的FusionInsight
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
