检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
现table1表有记录key=1,cf:cid=100，表示用户1在当天消费金额为100元。 table2表有记录key=1,cf:cid=1000，表示用户1的历史消息记录金额为1000元。 基于某些业务要求，要求开发Spark应用程序实现如下功能： 根据用户名累计用户的历史消费金额，即用户总消费金额=100(用户当天的消费金额)
Bolt 在一个Topology中接受数据然后执行处理的组件。Bolt可以执行过滤、函数操作、合并、写数据库等任何操作。 Tuple 一次消息传递的基本单元。 Stream 流是一组（无穷）元素的集合，流上的每个元素都属于同一个schema；每个元素都和逻辑时间有关；即流包含了元
quorumpeer实例IP地址可登录集群的FusionInsight Manager界面，在“集群 > 服务 > ZooKeeper > 实例”界面中查询，多个地址可用“,”分隔。ZooKeeper客户端连接端口可通过ZooKeeper服务配置参数“clientPort”查询，例如端口号为2181。 例如执行以下命令：
productNameIndexTable”的二级表并加载所提供列的索引信息。 系统响应 将创建二级索引表，加载与所提供的列相关的索引信息到二级索引表中，并将成功消息记录在系统日志中。 父主题： DML
图1 运行Consumer.java 单击运行后弹出控制台窗口，可以看到Consumer启动成功后，再启动Producer，即可看到实时接收消息： 图2 Consumer.java运行窗口 在Linux调测程序 编译并生成Jar包，并将Jar包复制到与依赖库文件夹同级的目录“src
quorumpeer实例IP地址可登录集群的FusionInsight Manager界面，在“集群 > 服务 > ZooKeeper > 实例”界面中查询，多个地址可用“,”分隔。ZooKeeper客户端连接端口可通过ZooKeeper服务配置参数“clientPort”查询，例如端口号为2181。 例如执行以下命令：
parquet_mngd; 注意事项 为了更好的加载数据性能，CTAS使用bulk insert作为写入方式。 系统响应 Table创建成功，创建成功的消息将被记录在系统日志中。 父主题： Hudi DDL语法说明
support_timestamp 选填 是否支持时间戳。 True changelog.enabled 选填 是否写入changelog消息。默认值为false，CDC场景填写为true。 false 表名必须满足Hive格式要求 表名必须以字母或下划线开头，不能以数字开头。 表名只能包含字母、数字、下划线。
注意：使用“--enable-az-aware”选项的前提是服务端开启了跨AZ特性，即服务端启动参数“az.aware.enable”为“true”,否则会执行失败。 “--bootstrap-server”方式由服务端生成副本分配方案，后续版本，社区将只支持这种方式来进行Top
productdb.productSalesTable; 系统响应 二级索引表将被删除，索引信息将在CarbonData表中被清除，删除成功的消息将记录在系统日志中。 父主题： DML
扩容集群 功能介绍 对MRS集群进行扩容。 MRS的扩容可以通过增加指定节点组内节点来完成，用户可通过增加节点数量处理业务峰值负载。MRS集群节点扩容中和扩容后对现有集群的业务没有影响。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/clu
split(",") val topicSet = topicArr.toSet // map(_._1)是消息的key, map(_._2)是消息的value val lines = KafkaUtils.createDirectStream[String,
在当前版本的FusionInsight中，NodeManager的默认内存只有1G，在数据量比较大（1T以上）的Spark任务下，内存严重不足，消息响应缓慢，导致FusionInsight健康检查认为NodeManager进程退出，强制重启NodeManager，导致上述问题产生。 解决方式：
MRS服务普通用户权限，拥有该权限的用户可以拥有MRS服务使用权限，无新增、删除资源权限。 细粒度策略 MRS ReadOnlyAccess MRS服务只读权限，拥有该权限的用户仅能查看MRS的资源。 细粒度策略 MRS Administrator 操作权限： 对MRS服务的所有执行权限。
conf”文件。将“user.keytab”文件重命名为“clickhouse_to_kafka.keytab”。 登录ClickHouse服务所在集群的Manager页面，选择“集群 > 服务 > ClickHouse > 配置 > 全部配置 > ClickHouseServer（角色） > 引擎”，修改如下参数：
隔离主机、启动所有角色、停止所有角色 支持 支持 下载客户端、启动服务、停止服务、滚动重启服务 支持 支持 查看服务实例状态、参数配置、同步配置 支持 支持 查看清除告警、查看事件 支持 支持 查看告警帮助 支持 支持 阈值类告警的阈值设置 不支持 支持 添加消息订阅规格 支持 不支持 文件管理 支持 不支持
productNameIndexTable”的二级表并加载所提供列的索引信息。 系统响应 将创建二级索引表，加载与所提供的列相关的索引信息到二级索引表中，并将成功消息记录在系统日志中。 父主题： CarbonData语法参考
agent-keytab - 服务端使用的keytab文件地址，必须使用机机账号。建议使用Flume服务安装目录下flume/conf/flume_server.keytab。 agent-principal - 服务端使用的安全用户的Principal，必须使用机机账户。建议使用Flume服务默认用户flume_server/hadoop
拓扑Main方法的类名称 拓扑名称 界面提示以下信息表示提交成功： Finished submitting topology: topo1 如果需要拓扑支持采样消息，则还需要增加参数“topology.debug”和“topology.eventlogger.executors”。 拓扑如何处理数据是
图1 运行Consumer.java 单击运行后弹出控制台窗口，可以看到Consumer启动成功后，再启动Producer，即可看到实时接收消息： 图2 Consumer.java运行窗口 在Linux调测程序 编译并生成Jar包，并将Jar包复制到与依赖库文件夹同级的目录“src
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
