检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink Join样例程序(Java) 功能介绍 在Flink应用中,调用flink-connector-kafka模块的接口,生产并消费数据。 代码样例 用户在开发前需要使用对接安全模式的Kafka,则需要引入kafka-clients-*.jar,该jar包可在client目录下获取。
HDFS部署在具有多个NameNode实例的HA(High Availability)模式中,HDFS客户端需要依次连接到每个NameNode,以确定当前活动的NameNode是什么,并将其用于客户端操作。 一旦识别出来,当前活动的NameNode的详细信息就可以被缓存并共享给在客户端
HDFS部署在具有多个NameNode实例的HA(High Availability)模式中,HDFS客户端需要依次连接到每个NameNode,以确定当前活动的NameNode是什么,并将其用于客户端操作。 一旦识别出来,当前活动的NameNode的详细信息就可以被缓存并共享给在客户端
中。支持在系统中定制各类数据发送方,用于收集数据。同时,提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。 Flume分为客户端和服务端,两者都是FlumeAgent。服务端对应着FlumeServer实例,直接部署在集群内部。而客户端部署更灵活,可以部署在集群内部,
mit”参数,查看当前集群上CCWorker实例的最大可用内存配置值。是否存在业务并发、数据量有长期上涨,且该告警未能自动清除。 是,执行4。 否,执行3。 可暂时忽略,业务高峰过后,告警将会自动清除。 请适当调大2中的最大可用内存值,单击“保存”。 在“运维 > 告警 > 告警”页签,查看该告警是否恢复。
使用可选参数IF NOT EXISTS,如果表已经存在则不会报错。 WITH子句可用于在新创建的表或单列上设置属性,如表的存储位置(location)、是不是外表(external)等。 LIKE子句用于在新表中包含来自现有表的所有列定义。可以指定多个LIKE子句,从而允许从多个表中复制列。如果指定了INCLUDING
SQL外表动态分区执行insert overwrite报错问题 解决周期清理任务清理.hive-staging时,查询数据库失败问题 解决NameNode在大量删除操作的时候会出现RPC请求处理慢的问题 解决Hive配置Redis缓存频繁访问表key导致Redis热键问题 解决磁盘写速率和磁盘读速率两个指标无法正常上报问题
中。支持在系统中定制各类数据发送方,用于收集数据。同时,提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。 Flume分为客户端和服务端,两者都是FlumeAgent。服务端对应着FlumeServer实例,直接部署在集群内部。而客户端部署更灵活,可以部署在集群内部,
区别不大,如果您或者您的目标用户在同一个国家,可以不用考虑不同区域造成的网络时延问题。 在除中国大陆以外的亚太地区的用户,可以选择“中国-香港”、“亚太-曼谷”或“亚太-新加坡”区域。 在非洲地区有业务的用户,可以选择“南非-约翰内斯堡”区域。 在欧洲地区有业务的用户,可以选择“欧洲-巴黎”区域。
如何在CarbonData中配置非安全内存? 问题 如何在CarbonData中配置非安全内存? 回答 在Spark配置中,“spark.yarn.executor.memoryOverhead”参数的值应大于CarbonData配置参数“sort.inmemory.size.inmb”与“Netty
按照如下示例,在Hive客户端创建关联关系型数据库的外表。 如果是安全模式,建表的用户需要“ADMIN”权限,ADD JAR的路径请以实际路径为准。 -- 关联oracle linux6版本示例 -- 如果是安全模式,设置admin权限 set role admin; -- 添加连接关系型数据库的驱动jar包
KEYS TERMINATED BY '&' STORED AS TEXTFILE; -- 一个表在创建完成后,还可以使用ALTER TABLE执行增/删字段、修改表属性、添加分区等操作。 -- 为表employees_info_extended增加“tel_phone”和“email”字段。
如何在CarbonData中配置非安全内存? 问题 如何在CarbonData中配置非安全内存? 回答 在Spark配置中,“spark.yarn.executor.memoryOverhead”参数的值应大于CarbonData配置参数“sort.inmemory.size.inmb”
能,其命令格式如下: hdfs mover -p <HDFS文件全路径或目录路径> 在客户端执行此命令时,用户需要具备supergroup权限。可以使用HDFS服务的系统用户hdfs。或者在集群上创建一个具有supergroup权限的用户,再在客户端中执行此命令。 父主题: 使用HDFS
Flink Join样例程序(Java) 功能介绍 在Flink应用中,调用flink-connector-kafka模块的接口,生产并消费数据。 代码样例 用户在开发前需要使用对接安全模式的Kafka,则需要引入FusionInsight的kafka-clients-*.jar
更好。 分区表的分区键不允许更新,否则会产生重复数据。 例外场景:超大维度表和超小事实表 特殊情况如存在持续大量新增数据的维度表(表数据量在200G以上或日增长量超过60M)或数据量非常小的事实表(表数据量小于10G且未来三至五年增长后也不会超过10G)需要针对具体场景来进行例外处理:
否,执行13。 等待30秒,查看告警是否恢复。 是,处理完毕。 否,执行13。 收集故障信息。 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“Kafka”。 单击右上角的设置日志收集的“开始时间”和“结束时间”
分隔符 配置拼接符,可为空。 string 否 空字符串 被拼接字段名 配置需要被拼接字段名。 字段名:需填写上一个转换步骤生成的字段名,可添加多个。 map 是 无 数据处理规则 按顺序将“被拼接字段名”中配置的字段的值,通过连接符拼接后,赋给“输出字段名”。 当有字段的值为nu
com/repository/maven/huaweicloudsdk/com/huawei/mrs/hadoop-plugins/ 将下载的jar包添加到命令或者jar包的依赖中。 父主题: 使用HDFS
能,其命令格式如下: hdfs mover -p <HDFS文件全路径或目录路径> 在客户端执行此命令时,用户需要具备supergroup权限。可以使用HDFS服务的系统用户hdfs。或者在集群上创建一个具有supergroup权限的用户,再在客户端中执行此命令。 父主题: 使用HDFS