检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MIN(`float`), COUNT(DISTINCT `string`) FROM TABLE( TUMBLE(TABLE T1, DESCRIPTOR(rowtime), INTERVAL '5' SECOND)) GROUP BY `name`, window_start, window_end
SDK”为“SDKs”中添加的JDK。 单击“Apply”,单击“OK”。 配置Maven。 参考配置华为开源镜像仓章节描述,增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。 修改完成后,在IntelliJ IDEA选择“File > Settings
SDK”为“SDKs”中添加的JDK。 图6 修改“Module SDK” 单击“Apply”,单击“OK”。 配置Maven。 参考配置华为开源镜像仓章节描述,增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。 修改完成后,在IntelliJ IDEA选择“File > Settings
ZooKeeper集群信息,格式为IP:port。 {partitionNum} topic的分区数。 {replicationNum} topic中每个partition数据的副本数。 {Topic} topic名称。 示例:在Kafka的客户端路径下执行命令,此处以ZooKeeper集群的IP:port是10
在Flink Yarn的集群中,AM与Flink JobManager在同一个Container中。AM会将JobManager的RPC地址通过HDFS共享的方式通知各个TaskManager,TaskManager启动成功后,会向JobManager注册。 等所有TaskMa
HTableDescriptor htd = new HTableDescriptor(TableName.valueOf(tableName)); HColumnDescriptor hcd = new HColumnDescriptor("d");
HDFS应用开发常见问题 HDFS常用API介绍 HDFS Shell命令介绍 配置Windows通过EIP访问安全模式集群HDFS 父主题: HDFS开发指南(安全模式)
件夹必须是已存在的,否则会授权失败。 OBS默认开启权限的递归(且不支持修改),无任何权限的子目录会默认继承父目录所有的权限。 Description 策略描述信息。 Audit Logging 是否审计此策略。 Allow Conditions 策略允许条件,配置本策略内允许的权限。
在FusionInsight Manager页面告警列表中,单击此告警所在行的,查看该告警的主机名。在“主机”页面,根据对应的主机名,查看主机IP。 登录ClickHouse服务异常的实例主机节点,进入当前ClickHouse实例配置目录,执行如下命令: cd ${BIGDATA_H
conf)。user.keytab和krb5.conf文件为安全模式下的认证文件,需要在FusionInsight Manager中下载principal用户的认证凭证,样例代码中使用的用户为:super,需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具,打包项目
概述 “数据导出”章节适用于MRS 3.x及后续版本。 简介 Loader是实现MRS与关系型数据库、文件系统之间交换数据和文件的ETL工具,支持将数据或者文件从MRS系统中导出到关系型数据库或文件系统中。 Loader支持如下数据导出方式: 从HDFS/OBS中导出数据到SFTP服务器
Flink常见问题 数据倾斜 当数据发生倾斜(某一部分数据量特别大),虽然没有GC(Gabage Collection,垃圾回收),但是task执行时间严重不一致。 需要重新设计key,以更小粒度的key使得task大小合理化。 修改并行度。 调用rebalance操作,使数据分区均匀。
"core_node_default_group", "instances": "1", "skip_bootstrap_scripts":false, "scale_without_start":false }, "previous_values":
spark-sql方式提交作业,可以直接在命令行中指定Keytab和Principal以获取认证,定期更新登录凭证和授权tokens,避免认证过期。 例如: spark-shell --principal spark2x/hadoop.<系统域名>@<系统域名> --keytab
荐使用keytab方式。 应用开发操作步骤 确认Storm和HDFS组件已经安装,并正常运行。 将storm-examples导入到Eclipse开发环境,请参见导入并配置Storm样例工程。 如果集群启用了安全服务,按登录方式需要进行以下配置。 keytab方式:需要从管理员处
HDFS应用开发常见问题 HDFS常用API介绍 HDFS Shell命令介绍 配置Windows通过EIP访问普通模式集群HDFS 父主题: HDFS开发指南(普通模式)
Flink Flink基本原理 Flink HA方案介绍 Flink与其他组件的关系 Flink滑动窗口增强 Flink Job Pipeline增强 Flink Stream SQL Join增强 Flink CEP in SQL增强 父主题: 组件介绍
append(clientInfo.getAuth()) .append(";principal=") .append(clientInfo.getPrincipal()) .append(";"); } else { //
append(clientInfo.getAuth()) .append(";principal=") .append(clientInfo.getPrincipal()) .append(";"); } else { //
调测Spark应用 配置Windows通过EIP访问集群Spark 在本地Windows环境中调测Spark应用 在Linux环境中调测Spark应用 父主题: Spark2x开发指南(普通模式)