检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
比较函数和运算符 比较操作 操作 描述 < 小于 > 大于 <= 小于等于 >= 大于等于 = 等于 <> 不等于 != 不等于 范围比较:between between适用于值在一个特定的范围内,如:value BETWEEN min AND max Not between适用于值不在某个特定范围内。
集群内ClickHouseServer节点间数据迁移 迁移MRS集群内ClickHouse数据至其他MRS集群 扩容ClickHouse节点磁盘 通过数据文件备份恢复ClickHouse数据 配置ClickHouse系统表的生命周期 配置ClickHouse默认用户密码(MRS 3.1.2-LTS版本)
服务 > MapReduce > 配置 > 全部配置”,在左侧的导航列表中选择“Mapreduce > 自定义”。在自定义配置项中,给参数文件“core-site.xml”添加配置项“mapreduce.jobhistory.always-scan-user-dir”,设置值为“true”。
创建FlinkServer作业对接JDBC 创建FlinkServer作业写入数据至HBase表 创建FlinkServer作业写入数据至HDFS文件系统 创建FlinkServer作业写入数据至Hive表 创建FlinkServer作业写入数据至Hudi表 创建FlinkServer作业写入数据至Kafka消息队列
读取Phoenix表数据 功能简介 使用Phoenix实现读数据。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testSelect方法中。 /** * Select Data */
存储资源 为当前租户选择存储资源。 选择“HDFS”时,系统将自动在HDFS父租户目录中,以子租户名称创建文件夹。 不选择“HDFS”时,系统不会分配存储资源。 文件\目录数上限 配置文件和目录数量配额。 存储空间配额 配置当前租户使用的HDFS存储空间配额。 当存储空间配额单位设置为M
Sqoop常见问题 连接postgresql或者gaussdb时报错 使用hive-table方式同步数据报错 导入到Hive表时报错 父主题: 使用Sqoop
解决办法 若Flume数据写入的组件未启动,启动对应组件;若组件异常,请联系服务技术支持。 Sink未启动,检查配置文件是否配置正确,若配置错误,则正确修改配置文件后重启Flume进程,如果配置正确,则查看日志错误信息,根据具体错误信息制定解决办法。 父主题: 使用Flume
Manager,选择“集群 > 服务 > HBase > 配置”,在搜索框中搜索并修改以下参数: fs.coldFS:修改该参数值为OBS文件系统名,例如:obs://OBS并行文件系统名称。 hbase.fs.hot.cold.enabled:该参数值默认为“false”,必须修改为“true”。
修改。 各组件业务用户由MRS集群管理员根据业务需要创建。安全模式下,“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码。普通模式不需要下载keytab文件及修改密码操作。 使用Yarn客户端 安装客户端,具体请参考安装MRS客户端。 以客户端安装用户,登录安装客户端的节点。
使用PuTTY工具登录发生告警的“HostName”节点,检查“/etc/fstab”文件中是否包含“DirName”的行。 是,执行7。 否,执行8。 执行vi /etc/fstab命令编辑文件,将包含“DirName”的行删除。 联系硬件工程师插入全新磁盘,具体操作请参考对应型
id_max”。 若PID使用率超过阈值,则编辑“/etc/sysctl.conf”文件,将“kernel.pid_max”参数值增大为1.c查询到的pid_max值的一倍,若无该参数则请在文件末尾添加。 例如修改参数为“kernel.pid_max=65536”,然后执行以下命令使参数立即生效。
zookeeper的IP和PORT: 可以查看配置文件/opt/client/Spark/spark/conf/hive-site.xml中的配置项spark.deploy.zookeeper.url zookeeper 上存放JDBCServer主节点的IP和PORT: 可以查看配置文件/opt/clien
解决方案 提交yarn-client模式的结构流任务时需要额外如下操作: 将Spark客户端目录下spark-default.conf文件中的spark.driver.extraClassPath配置复制出来,并将Kafka相关jar包路径追加到该配置项之后,提交结构流任务时
指定表的格式为RCFile(推荐使用)或SequenceFile,加密算法为ARC4Codec。SequenceFile是Hadoop特有的文件格式,RCFile是Hive优化的文件格式。RCFile优化了列存储,在对大表进行查询时,综合性能表现比SequenceFile更优。 set hive.exec
解决方案 提交yarn-client模式的结构流任务时需要额外如下操作: 将Spark客户端目录下spark-default.conf文件中的spark.driver.extraClassPath配置复制出来,并将Kafka相关jar包路径追加到该配置项之后,提交结构流任务时
指定表的格式为RCFile(推荐使用)或SequenceFile,加密算法为ARC4Codec。SequenceFile是Hadoop特有的文件格式,RCFile是Hive优化的文件格式。RCFile优化了列存储,在对大表进行查询时,综合性能表现比SequenceFile更优。 set hive.exec
DBService状态正常,组件无法连接DBService DBServer启动失败 浮动IP不通导致DBService备份失败 DBService配置文件丢失导致启动失败
Spark Structured Streaming样例程序(Python) 功能介绍 在Spark应用中,通过使用StructuredStreaming调用Kafka接口来获取单词记录,然后把单词记录分类统计,得到每个单词记录数。 代码样例 下面代码片段仅为演示,具体代码参见:
修复问题列表: MRS Manager 优化补丁机制 解决偶现获取监控指标为空的问题 解决DLF+Presto查询时字段中包含换行符,数据和文件显示问题。 补丁兼容关系 无 安装补丁的影响 安装MRS 2.0.6.1补丁期间会重启MRS Manager,滚动重启Hive以及相关依赖服务,重启MRS