检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
会话级别设置 > 全局默认设置。 副本间强一致必须要结合原子性一起使用,否则在插入过程中出现异常,无法回退成功。 登录FusionInsight Manager页面,选择“集群 > 服务 > ClickHouse > 配置 > 全部配置 > 可靠性”,修改以下参数: 参数 参数说明 profiles
Hive样例程序开发思路 场景说明 假定用户开发一个Hive数据分析应用,用于管理企业雇员信息,如表1、表2所示。 开发思路 数据准备。 创建三张表,雇员信息表“employees_info”、雇员联络信息表“employees_contact”、雇员信息扩展表“employees_info_extended”。
Sqlline接口介绍 用户可以直接使用sqlline.py在服务端对HBase进行SQL操作。 Phoenix的sqlline接口与开源社区保持一致。 详情请参见http://phoenix.apache.org/。 此版本不包含开源社区中Phoenix二级索引特性。 父主题:
WriteIntoKafka和com.huawei.bigdata.flink.examples.SqlJoinWithSocket 每秒钟往Kafka中生产一条用户信息,用户信息由姓名、年龄、性别组成。 //producer代码 public class WriteIntoKafka { public
WriteIntoKafka和com.huawei.bigdata.flink.examples.SqlJoinWithSocket 每秒钟往Kafka中生产一条用户信息,用户信息由姓名、年龄、性别组成。 //producer代码 public class WriteIntoKafka { public
运行Manager应用报错“authorize failed” 问题 运行应用程序时,操作失败,日志显示如图1所示。 图1 操作失败日志 回答 可能的原因为用户名、密码的配置错误。 可排查“UserInfo.properties”文件中“username”和“password”的值是否配置正确。 父主题:
量大,在集群数据同步限定时间内不能完成同步过程,导致超时,各个ZooKeeper Server启动失败。 参考修改集群服务配置参数章节,进入ZooKeeper服务“全部配置”页面。不断尝试调大ZooKeeper配置文件“zoo.cfg”中的“syncLimit”和“initLim
directory</name> <value>[1]查询中间结果的临时目录</value> </property> JAVA样例:使用JDBC接口访问HBase public String getURL(Configuration conf) {
directory</name> <value>[1]查询中间结果的临时目录</value> </property> JAVA样例:使用JDBC接口访问HBase public String getURL(Configuration conf) {
没有reduce阶段的insert任务,将会多出reduce阶段,用于收集统计信息。 本章节适用于MRS 3.x及后续版本。 前提条件 已登录Hive客户端,具体操作请参见Hive客户端使用实践。 操作步骤 在Manager界面Hive组件的配置中搜索“hive.cbo.enab
参数入口:参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。 对于大作业扫描特性中Hive组件,需要配置“hive-ext.record.mr.applicationid=true”时才能生效,详细操作步骤如下: 参考修改集群服务配置参数进入Hive服务参数“
r compaction。 加载增量数据。 用户可以根据自己的需要配置minor compaction阈值。 配置示例和预期输出: 用户将所有历史数据加载到CarbonData,此数据的一个segment的大小假定为500GB。 用户设置major compaction参数的阈值:“carbon
如果在导出过程中出现错误,可能会有导出文件残留在远端存储系统上,Doris不会清理这些文件,需要手动清理。 导出命令的超时时间同查询的超时时间,可以通过SET query_timeout=xxx进行设置。 对于结果集为空的查询,依然会产生一个大小为0的文件。 文件切分会保证一行数据完整的存
java:5916) 问题根因: 执行balance需要使用管理员账户 解决方法 安全版本 使用hdfs或者其他属于supergroup组的用户认证后,执行balance 普通版本 执行HDFS的balance命令前,需要在客户端执行su - hdfs命令。 问题2:执行balan
WriteIntoKafka和com.huawei.bigdata.flink.examples.SqlJoinWithSocket 每秒钟往Kafka中生产一条用户信息,用户信息由姓名、年龄、性别组成。 //producer代码 object WriteIntoKafka { def main(args:
场景说明 场景说明 假定用户有某个周末网民网购停留时间的日志文本,基于某些业务要求,要求开发Spark应用程序实现如下功能: 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 周末两天的日志文件第一列为姓名,第二列为性别,第三列为本次停留时间,单位为分钟,分隔符为“
集群外节点安装客户端上传HDFS文件失败 用户问题 集群外节点安装客户端使用hdfs命令上传文件失败。 问题现象 在集群节点上安装客户端,在该客户端使用hdfs命令上传一个文件,报如下错误: 图1 上传文件报错 原因分析 从错误截图可以看到报错是no route to host,且报错信息里面有192
如何开发Flume第三方插件 该操作指导用户进行第三方插件二次开发。 本章节适用于MRS 3.x及之后版本。 将自主研发的代码打成jar包。 安装Flume服务端或者客户端,如安装目录为“/opt/flumeclient”。 建立插件目录布局。 进入“Flume客户端安装目录/f
rmat,OutputFormat) MapReduce框架根据用户指定的InputFormat切割数据集,读取数据,并提供给map任务多条键值对进行处理,决定并行启动的map任务数目。MapReduce框架根据用户指定的OutputFormat,把生成的键值对输出为特定格式的数据。
Kafka样例程序(Java) 功能介绍 在Flink应用中,调用flink-connector-kafka模块的接口,生产并消费数据。 代码样例 用户在开发前需要使用对接安全模式的Kafka,则需要引入FusionInsight的kafka-clients-*.jar,该jar包可在Kafka的客户端目录下获取。