正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备Flink安全认证 场景说明 在安全集群环境下,各个组件之间的相互通信不能够简单的互通,而需要在通信之前进行相互认证,以确保通信的安全性。 用户在提交Flink应用程序时,需要与Yarn、HDFS等之间进行通信。那么提交Flink的应用程序中需要设置安全认证,确保Flink程序能够正常运行。
Executor进程Crash导致Stage重试 问题 在执行大数据量的Spark任务(如100T的TPCDS测试套)过程中,有时会出现Executor丢失从而导致Stage重试的现象。查看Executor的日志,出现“Executor 532 is lost rpc with driver
默认配置为true,表示只向其中的一个副本写入数据(副本间通过复制表来完成同步,能保证数据的一致性)。 如果配置为false(不建议配置),表示向该分片的所有副本中写入相同的数据(副本间数据一致性不强,无法保证完全同步)。 macros标签 当前实例节点所在的分片和副本编号,可以用于区别不同的副本。 例
Executor进程Crash导致Stage重试 问题 在执行大数据量的Spark任务(如100T的TPCDS测试套)过程中,有时会出现Executor丢失从而导致Stage重试的现象。查看Executor的日志,出现“Executor 532 is lost rpc with driver
Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 修改集群名称成功 400 修改集群名称失败 错误码 请参见错误码。 父主题: 集群管理接口
cutor三种进程。在任务调度和运行的过程中,Driver和Executor承担了很大的责任,而ApplicationMaster主要负责container的启停。 因而Driver和Executor的参数配置对Spark应用的执行有着很大的影响意义。用户可通过如下操作对Spark集群性能做优化。
cutor三种进程。在任务调度和运行的过程中,Driver和Executor承担了很大的责任,而ApplicationMaster主要负责container的启停。 因而Driver和Executor的参数配置对Spark应用的执行有着很大的影响意义。用户可通过如下操作对Spark集群性能做优化。
系统将自动显示数据库中的所有表。可以输入表名关键字,系统会自动搜索包含此关键字的全部表。 图1 选择数据库 单击指定的表名,可以显示表中所有的列。 光标移动到表所在的行,单击 可以查看列的详细信息。 在SparkSql语句编辑区输入查询语句。 单击后的三角并选择“解释”,编辑器将分析输入的查询语
block.cache.size总和大于0.8导致启动不成功,因此需要调整参数配置值总和低于0.8。 查看HMaster和RegionServer的out日志(/var/log/Bigdata/hbase/hm/hbase-omm-xxx.out/var/log/Bigdata/hbase/rs/hbase-omm-xxx
在“Files”的右侧单击 ,然后单击 指定该文件的存储目录。 可以单击 新增加一个文件资源。 在“Functions”的右侧单击 ,输入用户自定义的名称和函数的类名称。 可以单击 新增加一个自定义函数。 在“Settings”的右侧单击 ,在“Key”输入Hive的参数名,在“V
SessionExample”。 其中修改HOST_1、HOST_2、HOST_3为IoTDBServer所在节点的业务IP,在Session对象的参数里,设置用户名和密码。 待连接的IoTDBServer所在节点的业务IP地址,可通过登录FusionInsight Manage界面,选择“集群 > 服务
原因分析 登录到集群的Kerberos服务节点,查看“/var/log/Bigdata/kerberos/krb5kdc.log”。 登录到主、备OMS节点,查看“/var/log/Bigdata/okerberos/oms-krb5kdc.log”。 发现有大量的认证失败,同时有 “<unknown
IoTDB提供了如表2所示的日志级别。 日志的级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG,程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。 表2 日志级别 级别 描述 ERROR ERROR表示系统运行的错误信息。 WARN WARN表示当前事件处理存在异常信息。
MRS当前支持主机规格的配型由CPU+内存+Disk共同决定。 弹性云服务器由多个租户共享物理资源,而裸金属服务器的资源归用户独享。对于关键类应用或性能要求较高的业务(如大数据集群、企业中间件系统),并且要求安全可靠的运行环境,使用裸金属服务器更合适。当使用BMS类型的规格时,不支持升级Master节点规格。
FlinkYarnSessionCli.main(FlinkYarnSessionCli.java:482) 原因分析 配置文件“flink-conf.yaml”中配置项格式错误。 security.kerberos.login.principal:pippo 解决办法 修改“flink-conf.yaml”中配置,配置项名称和值之间存在一个空格。
is enabled异常 向动态分区表中插入数据时,在重试的task中出现"Failed to CREATE_FILE"异常 使用Hash shuffle出现任务失败 访问Spark应用的聚合日志页面报“DNS查找失败”错误 由于Timeout waiting for task异常导致Shuffle
参数解释: SQL类型。目前仅支持“presto”类型的SQL。 约束限制: 只有包含Presto组件的集群才能提交执行presto类型的SQL。 当前仅MRS 2.0.6版本的MRS 2.0.6.1补丁、MRS 2.1.0版本的MRS 2.1.0.7补丁、MRS 3.1.2及之后版本集群支持。
bigdata.iotdb.JDBCExample”类。 其中,在jdbc url里设置待连接的IoTDBServer所在的节点IP、RPC端口、用户名和密码。 待连接的IoTDBServer所在的节点IP地址,可通过登录FusionInsight Manage界面,选择“集群 > 服务
禁止通过Alter命令修改表关键属性信息:type/primaryKey/preCombineField/hoodie.index.type 错误示例,执行如下语句修改表关键属性: alter table dsrTable set tblproperties('type'='xx');
MergeTree引擎在建表的时候支持列字段和表级的TTL。 当列字段中的值过期时,ClickHouse会将其替换成数据类型的默认值。如果分区内,某一列的所有值均已过期,则ClickHouse会从文件系统中删除这个分区目录下的列文件。当表内的数据过期时,ClickHouse会删除所有对应的行。 在列上配置TTL: