检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
云硬盘的类型和容量,例如:高IO|100GB 使用量类型 按需计费MRS集群的使用量类型为“时长” 单价 按需计费模式为简单定价(使用量*单价)时提供单价信息,其他的定价(如EIP公网带宽的阶梯定价)等不提供单价。 按需计费MRS集群属于简单定价,相应单价查询请参见: MRS服务管理费单价可在MRS价格计算器页查询。
conf)。user.keytab和krb5.conf文件为安全模式下的认证文件,需要在FusionInsight Manager中下载principal用户的认证凭证,样例代码中使用的用户为:super,需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具,打包项目
CoGroupedStreams:在窗口上对数据进行coGroup操作,可以实现流的各种join类型。 图1 Flink Stream的各种流类型转换 流数据输入 表1 流数据输入的相关接口 API 说明 public final <OUT> DataStreamSource<OUT> fromElements(OUT
CoGroupedStreams:在窗口上对数据进行coGroup操作,可以实现流的各种join类型。 图1 Flink Stream的各种流类型转换 流数据输入 表1 流数据输入的相关接口 API 说明 public final <OUT> DataStreamSource<OUT> fromElements(OUT
CoGroupedStreams:在窗口上对数据进行coGroup操作,可以实现流的各种join类型。 图1 Flink Stream的各种流类型转换 流数据输入 表1 流数据输入的相关接口 API 说明 public final <OUT> DataStreamSource<OUT> fromElements(OUT
conf)。user.keytab和krb5.conf文件为安全模式下的认证文件,需要在FusionInsight Manager中下载principal用户的认证凭证,样例代码中使用的用户为:super,需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具,打包项目
<triggerInterver> <checkpointDir>。 <kafkaBootstrapServers>指获取元数据的Kafka地址。 <maxEventDelay>指数据从生成到被流处理引擎的最大延迟时间。 <reqTopic>指请求事件的topic名称。 <show
<checkpointDir>。<checkpointDir>指checkpoint文件存放路径。 <kafkaBootstrapServers>指获取元数据的Kafka地址。 <maxEventDelay>指数据从生成到被流处理引擎的最大延迟时间。 <reqTopic>指请求事件的topic名称。 <show
如果告警原因为“DataNode数据目录中多个目录使用同一磁盘”,执行21。 检查DataNode数据目录是否创建失败。 执行su - omm命令,切换到omm用户。 使用ls命令查看DataNode数据目录中的每个目录是否存在。 是,执行26。 否,执行12。 使用mkdir 数据目录命令创建该目录,查看是否可以创建成功。
9.2.3补丁安装完成之后,需要重启OMS服务。如果集群之前安装了1.9.2.2补丁,不需要做此操作。 使用root用户登录主备OMS节点,切换至omm用户,执行命令sh ${BIGDATA_HOME}/om-0.0.1/sbin/restart-oms.sh重启OMS服务。 主备OMS节点都需要重启。
erver”。 进入“/udf/hetuserver”,单击上传UDF函数包。 使用HDFS命令行上传。 登录HDFS服务客户端所在节点,切换到客户端安装目录,例如“/opt/client”。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env
对磁盘健康状态进行检查,建议使用专门的磁盘检查工具。 统计存储 分批次排查集群节点磁盘数据是否均匀存储,筛选出明显数据增加或不足的硬盘,并确认硬盘是否正常。 记录变更 安排并记录对集群配置参数和文件实施的操作,为故障分析处理场景提供依据。 每月 分析日志 收集集群节点服务器的硬件日志,例如BMC系统日志,并进行分析。
I性能和稳定性更好。 /** * 参数解析: * <groupId>为客户的组编号。 * <brokers>为获取元数据的Kafka地址。 * <topic>为Kafka中订阅的主题。 */ public class JavaDstreamKafkaWriter {
I性能和稳定性更好。 /** * 参数解析: * <groupId>为客户的组编号。 * <brokers>为获取元数据的Kafka地址。 * <topic>为Kafka中订阅的主题。 */ public class JavaDstreamKafkaWriter {
reduce-examples-3.1.2.jar" 如需使用hadoop fs删除OBS上文件,请使用hadoop fs -rm -skipTrash来删除文件。 spark-sql、spark-beeline在创建表时,若不涉及数据导入,则不会访问OBS。即若在一个无权限的OBS目录下创建表,CREATE
CoGroupedStreams:在窗口上对数据进行coGroup操作,可以实现流的各种join类型。 图1 Flink Stream的各种流类型转换 流数据输入 表1 流数据输入的相关接口 API 说明 public final <OUT> DataStreamSource<OUT> fromElements(OUT
使用bitmap计算预估,耗时在3秒以内。 使用GLOBAL JOIN/IN替换普通的JOIN。 ClickHouse基于分布式表的查询会转换成所有分片的本地表的操作,再汇总结果。实际使用中,join和global join的执行逻辑差别很大,建议使用global join做分布式表查询。
Worker节点数量。 配置完成后将“立即启动”置为“是”,单击“确定”等待实例配置完成。 登录安装有HetuEngine客户端的节点,执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令,配置环境变量。 source bigdata_env 认证或指定用户。 安全模式集群:执行以下命令认证用户
服务:选择“Hive”。 根据业务实际需求开启“提示”或“拦截”按钮。 图1 创建Hive SQL防御规则 登录安装有Hive客户端的节点,执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令,配置环境变量。 source bigdata_env 执行以下命令认证当前
“taskmanager.network.netty.sendReceiveBufferSize”:默认是系统缓冲区大小(cat /proc/sys/net/ipv4/tcp_[rw]mem) ,一般为4MB,表示netty的发送和接收的缓冲区大小。 “taskmanager.network.netty