检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
WebUI的Flink作业开发界面添加自定义参数“table.optimizer.multi-join-enabled”为“true”开启MultiJoin算子功能,可参考如何创建FlinkServer作业。 SQL示例: CREATE TABLE datagen1 ( id int, f1 int,
产品规格 xxx 不存在! 请更换其他产品规格或可用区 400 12000050 Incorrect certificate. 错误的证书! 请更换正确的证书 400 12000052 No access rights. 无权访问! 请检查权限是否满足要求 400 12000053 Invalid
操作”列编辑或删除UDF信息(只能删除未被使用的UDF项)。 (可选)如果需要立即运行或开发作业,可在“作业管理”进行相关作业配置,可参考如何创建FlinkServer作业。 UDF java代码及SQL样例 UDF java使用样例 package com.xxx.udf; import
ntpdate修改时间导致HDFS出现大量丢块 DataNode概率性出现CPU占用接近100%导致节点丢失 单NameNode长期故障时如何使用客户端手动checkpoint HDFS文件读写时报错“Failed to place enough replicas” 文件最大打开句柄数设置太小导致读写文件异常
如为test用户在“default”库中的“datagen”表添加“a<>1”过滤条件。 使用权限配置完成的用户通过FlinkServer提交FlinkSQL作业,详情可参考如何创建FlinkServer作业。 SQL示例如下: CREATE CATALOG myhive WITH ( 'type' = 'hive'
6:Spark Script 7:Spark SQL(该接口当前不支持) 默认取值: 不涉及 file_action String 参数解释: 导入导出数据。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 arguments String 参数解释: 程序执行的关键参数。 约束限制:
k/flink/conf/user.keytab security.kerberos.login.principal: test 参考签发证书样例章节生成“generate_keystore.sh”脚本并放置在Flink的客户端bin目录下,执行如下命令进行安全加固,并设置一个用于提交作业的密码。
IoTDB JDBC处理数据Java示例程序。 本示例演示了如何使用JDBC接口连接IoTDB,并执行IoTDB SQL语句。 iotdb-kafka-example 通过Kafka访问IoTDB数据的示例程序。 本示例演示了如何先将时序数据发送到Kafka,再使用多线程将数据写入到IoTDB中。
IoTDB JDBC处理数据Java示例程序。 本示例演示了如何使用JDBC接口连接IoTDB,并执行IoTDB SQL语句。 iotdb-kafka-example 通过Kafka访问IoTDB数据的示例程序。 本示例演示了如何先将时序数据发送到Kafka,再使用多线程将数据写入到IoTDB中。
二级索引等功能。在创建表的时候需要指定表引擎,不同的表引擎会决定一张数据表的最终“性格”,比如数据表拥有何种特性、数据以何种形式被存储以及如何被加载。 父主题: ClickHouse开发指南(普通模式)
API、C API、Shell、HTTP REST API、WEB UI。 Java API 提供HDFS文件系统的应用接口,本开发指南主要介绍如何使用Java APIHDFS Java API接口介绍 HDFS文件系统的应用开发。 C API 提供HDFS文件系统的应用接口,使用C语言开发的用户可参考C接口HDFS
二级索引等功能。在创建表的时候需要指定表引擎,不同的表引擎会决定一张数据表的最终“性格”,比如数据表拥有何种特性、数据以何种形式被存储以及如何被加载。 父主题: ClickHouse开发指南(安全模式)
数据到备集群中。 手动恢复即单表的恢复,单表手动恢复通过Export、distcp、Import来完成。 单表手动恢复操作步骤: 从主集群导出表中数据。 hbase org.apache.hadoop.hbase.mapreduce.Export -Dhbase.mapreduce
ClickHouse支持原子性写入能力,支持事务能力。实现事务的原子性,在事务的某个操作失败后,支持回滚到事务执行之前的状态。 本章节主要介绍如何开启ClickHouse事务。 使用本地表场景进行数据写入性能更优,故推荐本地表的数据增、删、改、查场景的多副本分布式事务支持。 对于使用
入过的行中的Value。 MAX:保留最大值。 MIN:保留最小值。 Unique模型 在某些多维分析场景下,用户更关注的是如何保证Key的唯一性,即如何获得Primary Key唯一性约束。因此,引入了Unique数据模型。 读时合并 Unique模型的读时合并实现完全可以用A
方法二: 给集群配置有OBS OperateAccess权限的委托,具体请参见配置存算分离集群(委托方式)。 登录主Master节点,主节点请参考如何确认MRS Manager的主备管理节点。 执行如下命令,配置环境变量。 source /opt/client/bigdata_env /
"kafkaBolt" grouping: type: SHUFFLE #分组方式为shuffle,无需传入参数 部署运行及结果查看 导出本地jar包,请参见打包Strom样例工程应用。 将4中获取的配置文件和5中获取的jar包合并统一打出完整的业务jar包,请参见打包Strom应用业务。
"kafkaBolt" grouping: type: SHUFFLE #分组方式为shuffle,无需传入参数 部署运行及结果查看 导出本地jar包,请参见打包Storm样例工程应用。 将4中获取的配置文件和5中获取的jar包合并统一打出完整的业务jar包,请参见打包Storm业务。
1 row(s) 运行程序并查看结果 在安装了集群客户端的节点中,执行以下命令运行通过样例工程导出的jar包文件。 cd /opt/client source bigdata_env cd Spark2x/spark vi conf/spark-defaults
ssl启用后密钥存储密码,开启ssl后,该参数必填。 trust-all-certs false 是否关闭SSL server证书检查。设置为“true”时将不会检查远端source的SSL server证书,不建议在生产中使用。 exclude-protocols SSLv3 排除的协议列表,用空格分开。默认排除SSLv3协议。