检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
spark.sql.mergeSmallFiles.moveParallelism 当不需要合并小文件后时,将临时文件移动到最终目录的并行度。 10000 父主题: Spark Core企业级能力增强
URL https://www.myserver.com/templeton/v1/ddl/database 参数 参数 描述 like 用来匹配数据库名的正则表达式。 返回结果 参数 描述 databases 数据库名 例子 curl -i -u : --insecure --negotiate
URL http://www.myserver.com/templeton/v1/ddl/database 参数 参数 描述 like 用来匹配数据库名的正则表达式。 返回结果 参数 描述 databases 数据库名 例子 curl -i -u : --negotiate 'http://10
作业SQL开发完成后,请参考表1设置基础参数,还可根据需要设置自定义参数,然后单击“保存”。 表1 基础参数 参数名称 参数描述 并行度 并行数量。 算子最大并行度 算子最大的并行度。 JobManager内存(MB) JobManager的内存。输入值最小为4096。 提交队列 作业提交队列。不填默认提交到default。
URL http://www.myserver.com/templeton/v1/ddl/database 参数 参数 描述 like 用来匹配数据库名的正则表达式。 返回结果 参数 描述 databases 数据库名 例子 curl -i -u : --negotiate 'http://10
URL https://www.myserver.com/templeton/v1/ddl/database 参数 参数 描述 like 用来匹配数据库名的正则表达式。 返回结果 参数 描述 databases 数据库名 例子 curl -i -u : --insecure --negotiate
必填 Checkpoint超时时长,通过-yD添加,默认值为30min。 30min parallelism.default 选填 作业并行度,例如join算子,通过-yD添加,默认值为1。 根据实际情况而定 table.exec.state.ttl 必填 Flink状态ttl(join
占2/3。 开发Flink应用程序时,优化DataStream的数据分区或分组操作。 当分区导致数据倾斜时,需要考虑优化分区。 避免非并行度操作,有些对DataStream的操作会导致无法并行,例如WindowAll。 keyBy尽量不要使用String。 父主题: Flink性能调优
'新密码' valid until '超期时间';" DBService数据库的omm用户初始密码请参见MRS集群用户账号一览表。 新密码复杂度要求: 密码字符长度为16~32位。 至少需要包含大写字母、小写字母、数字、特殊字符~`!@#$%^&*()-+_=\|[{}];:",<.>/
在“修改密码”对话框的“用户信息”中选择需要修改密码的用户名。 在“旧密码”输入旧密码,“新密码”和“确认密码”输入新密码。 默认密码复杂度要求: 密码字符长度为16~32位。 至少需要包含大写字母、小写字母、数字、特殊字符`~!@#$%^&*()-_=+|[{}];,<.>/?中的3种类型字符。
根据实际填写 write.precombine.field 必填 数据合并字段。 根据实际填写 read.tasks 选填 读Hudi表task并行度,默认值为4。 4 read.streaming.enabled 必填 true:开启流式增量模式。 false:批量读。 根据实际填写,流读场景下为true
split-type 并行数据读取类型 NODE:基于GaussDB数据源DN节点划分并行度 PARTITION:基于表分区划分并行度 INDEX:基于表索引划分并行度 NODE max-splits 最大并行度 5 use-copymanager-for-insert 数据写入时是否使用CopyManager批量导入功能
下载客户端 在“下载集群客户端”弹窗中,配置以下参数: 选择客户端类型:选择“完整客户端”。 选择平台类型:必须与待安装客户端的节点的架构匹配,例如“x86_64”。 对于集群内的节点,节点架构类型可在Manager页面选择“主机”,在待安装客户端节点所在行的“平台类型”列查看。
单击“确定”添加备份数据文件。 正则表达式筛选 单击“正则表达式输入”。 根据界面提示,在第一个输入框填写HBase表所在的命名空间,需要与当前存在的命名空间完全匹配。例如“default”。 在第二个输入框输入正则表达式,支持标准正则表达式。例如要筛选命名空间中所有的表,输入“([\s\S]*?)”。
登录Manager,在“集群”下拉列表中单击需要操作的集群名称,选择“更多 > 下载客户端”,弹出“下载集群客户端”信息提示框。 选择“完整客户端”,选择与待安装节点架构相匹配的平台类型,勾选“仅保存到如下路径”,单击“确定”开始生成客户端文件。 文件生成后默认保存在主管理节点“/tmp/FusionInsight-Client”。
在同一cell。 查询频繁属性放在Rowkey前面部分。Rowkey的设计在排序上必须与主要的查询条件契合。 离散度较好的属性作为RowKey组成部分。分析数据离散度特点以及查询场景,综合各种场景进行设计。 存储冗余信息,提高检索性能。使用二级索引,适应更多查询场景。 利用过期时
单击“确定”添加备份数据文件。 正则表达式筛选 单击“正则表达式输入”。 根据界面提示,在第一个输入框填写目录的父目录完整路径,需要与当前存在的目录完全匹配。例如“/tmp”。 在第二个输入框输入正则表达式,支持标准正则表达式。例如要筛选父目录中所有的文件或子目录,输入“([\s\S]*?)”
嵌套超过3层,避免出现嵌套过深导致Impala内存溢出 case when子句包含多个判断分支,在多层view视图或子查询嵌套场景下,复杂度呈指数增长,通过实测该场景下嵌套层数不能超过3层,否则会出现内存溢出。可使用临时表替代view或子查询,将一个多重嵌套拆分成多个查询执行。 分区表select
如果用户没有分配IDs,有状态算子的IDs由于顺序变化可能会被分配新的IDs,这将导致状态恢复失败。 如果用户在状态恢复时改变了算子的并发度会有什么影响? 如果Flink版本高于1.2.0且不使用已经废弃的状态API,如checkpointed,用户可以从savepoint中进行状态恢复。否则,无法恢复。
大小超过DataNode磁盘的容量,就说明预约写Block的磁盘空间不足。 发生该问题,通常有以下两种方法来解决: 方法一:降低业务的并发度。 方法二:减少业务写文件的数目,将多个文件合并成一个文件来写。 父主题: 使用HDFS