检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
} } LOG.info("Exiting createIndex."); } 新创建的二级索引默认是不启用的，如果需要启用指定的二级索引，可以参考如下代码片段。该代码片段在com.huawei.bigdata.hbase.examples包的“HBas
为：“/srv/BigData/data2”，则执行以下命令： mount /dev/vdb2 /srv/BigData/data2 弹性云服务器重启后，挂载会失效。您可以修改“/etc/fstab”文件，将新建磁盘分区设置为开机自动挂载，具体请参见设置开机自动挂载磁盘分区。 参见访问FusionInsight
配置并导入样例工程 Kafka提供了不同场景下的样例程序，您可以导入样例工程进行程序学习。 导入并配置Kafka样例工程 配置安全认证 如果您使用的是开启了Kerberos认证的MRS集群，需要进行安全认证。 配置Kafka应用安全认证 根据业务场景开发程序 提供了Producer和Cons
配置并导入样例工程 Kafka提供了不同场景下的样例程序，您可以导入样例工程进行程序学习。 导入并配置Kafka样例工程 配置安全认证 如果您使用的是开启了Kerberos认证的MRS集群，需要进行安全认证。 配置Kafka应用安全认证 根据业务场景开发程序 提供了Producer和Cons
以客户端安装用户登录客户端安装目录，并配置环境变量。 cd 客户端安装目录 source bigdata_env 执行以下命令认证用户，未开启Kerberos认证的用户跳过该步骤。 kinit 业务用户 执行以下命令删除HDFS上的相关目录。 hdfs dfs -rm -r /t
encoding”区域，选中“Other”，并设置参数值为“UTF-8”，单击“Apply”后，单击“OK”，如图2所示。 图2 设置Eclipse的编码格式 修改样例（未开启Kerberos认证集群可跳过此步骤）。 在5获取新建开发用户的krb5.conf和user.keytab文件后，修改ExampleMain
encoding”区域，选中“Other”，并设置参数值为“UTF-8”，单击“Apply”后，单击“OK”，如图1所示。 图1 设置Eclipse的编码格式 修改样例（未开启Kerberos认证集群可跳过此步骤）。 在4获取新建开发用户的krb5.conf和user.keytab文件后，修改ExampleMain
指定Insert模式，取值为strict、non-strict及upsert。 hoodie.sql.bulk.insert.enable 指定是否开启bulk insert写入。 spark.sql.hive.convertMetastoreParquet sparksql把parque
使用root用户登录安装客户端的节点，执行以下命令： cd 客户端安装目录 source bigdata_env 如果当前集群为安全模式（开启Kerberos认证），执行以下命令认证当前用户，如果当前集群为普通模式（关闭Kerberos认证），则无需执行本步骤。 kinit 组件业务用户
资源路径，配置当前策略适用的OBS路径文件夹，可填写多个值，不支持使用通配符“*”。且配置的OBS路径文件夹必须是已存在的，否则会授权失败。 OBS默认开启权限的递归（且不支持修改），无任何权限的子目录会默认继承父目录所有的权限。 Description 策略描述信息。 Audit Logging
表1 参数介绍 参数 描述 默认值 spark.sql.parquet.compression.codec 对于非分区parquet表，设置其存储文件的压缩格式。 snappy 父主题： Spark Core企业级能力增强
uble、date和timestamp。 对于已存在表，如果要开启部分列更新功能；需要严格执行如下步骤，否则会出现数据不符合预期的情况。 停止待修改表的数据写入。 MOR表需要执行全量compaction： 强制开启compaction set hoodie.compaction
“--enable-az-aware”这两个选项自由组合来选用副本分配策略。注意：使用“--enable-az-aware”选项的前提是服务端开启了跨AZ特性，即服务端启动参数“az.aware.enable”为“true”,否则会执行失败。 “--bootstrap-server”
平滑次数为1，网络读包丢包率小于或等于阈值时，告警恢复；平滑次数大于1，网络读包丢包率小于或等于阈值的90%时，告警恢复。 该告警检测默认关闭。若需要开启，请根据“检查系统环境”步骤，确认该系统是否可以开启该告警发送。 告警属性 告警ID 告警级别 是否自动清除 12045 重要 是 告警参数 参数名称 参数含义 来源
原因分析 在出现告警时间点发现虚拟机发生了重启，告警发生的原因是因虚拟机重启导致的。 经OS定位虚拟机发生重启的原因是节点没有可用的内存，系统发生内存溢出触发了oom-killer，当进程处于被调用的状态会使进程处于disk sleep状态，最终导致虚拟机发生重启。 查看占用的内存进程，发现占用内存都是正常的业务进程。
对于旧版本仓库，源集群和目的集群的时区应该相同。 新的数据库和旧数据库的名字应该相同。 如果表是聚合表，则应将所有聚合表复制到新的数据库位置。 如果旧集群使用HIVE元数据库来存储表结构，则刷新将不起作用，因为文件系统中不存在表结构定义schema文件。 示例 REFRESH TABLE dbcarbon.productSalesTable;
所有的正则表达式函数都使用Java样式的语法。但以下情况除外： 使用多行模式（通过（？m）标志启用）时，只有\ n被识别为行终止符。 此外，不支持（？d）标志，因此不能使用。 大小写区分模式（通过（？i）标志启用）时，总是以unicode的模式去实现。同时，不支持上下文敏感匹配和局部敏感匹配。此外，不支持（？u）标志。
ntpdate修改时间导致HDFS出现大量丢块 DataNode概率性出现CPU占用接近100%导致节点丢失 单NameNode长期故障时如何使用客户端手动checkpoint HDFS文件读写时报错“Failed to place enough replicas” 文件最大打开句柄数设置太小导致读写文件异常
可以指定自动化脚本某种或多种类型的节点上执行。 脚本执行时机可以是扩容前、扩容后、缩容前或缩容后。 使用自动化脚本前，请先将脚本上传到集群虚拟机或与集群同region的OBS文件系统中。集群虚拟机上的脚本只能在已有节点上执行，若脚本需要在新扩容的节点上执行，请将脚本上传到OBS。 MRS集群节点弹性伸缩指标说明
SQL和DataFrame Spark SQL ROLLUP和CUBE使用的注意事项 Spark SQL在不同DB都可以显示临时表 如何在Spark命令中指定参数值 SparkSQL建表时的目录权限 为什么不同服务之间互相删除UDF失败 Spark SQL无法查询到Parquet类型的Hive表的新插入数据
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
