检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
待集群转包周期成功后,集群状态更新为“运行中”。 转包周期后集群原有Task节点计费类型保持按需计费,集群在转包周期过程中已配置的弹性伸缩规则不触发新任务,请选择恰当的时间进行该操作。 父主题: 变更计费模式
FS目录中。 FlinkResource运行日志:“/var/log/Bigdata/flink/flinkResource”。 日志归档规则: FlinkResource运行日志: 服务日志默认20MB滚动存储一次,最多保留20个文件,不压缩。 针对MRS 3.x之前版本,Ex
其中,flink/checkpoint/checkpoint表示指定的根目录。 fd5f5b3d08628d83038a30302b611表示以jobID命名的第二次目录。 chk-X中"X"为checkpoint编号,第三层目录。 4f854bf4-ea54-4595-a9d9-9b90807
弹性云服务器的VPC需要与MRS集群在同一个VPC中。 弹性云服务器的网卡需要与MRS集群在同一个网段中。 申请弹性IP,绑定新申请的弹性云主机IP,并配置安全组出入规则。 下载客户端程序,请参考下载MRS客户端。 以root用户安装集群客户端。 执行以下命令解压客户端包。 tar -xvf /opt/MRS_Services_Client
> 阈值配置”,进入阈值配置页面。 在左侧的导航列表中,单击“服务 > HDFS > HDFS文件 > HDFS文件总数”。 修改页面右侧的规则中的阈值,以适应当前的HDFS文件数。 HDFS文件数可以通单击“服务管理 > HDFS”,在右侧“实时”区域中单击“定制”按钮,选择“HDFS
的长度截取,“类型”为“CHAR”时实际长度不足则空格补齐,“类型”为“VARCHAR”时实际长度不足则不补齐。 map 是 无 数据处理规则 将字段值输出到表中。 样例 以HBase导出到sqlserver2014数据库为例。 在sqlserver2014上创建一张空表test
器层”。其中ROOT为根节点,传感器层的每一个节点为叶子节点。IoTDB的语法规定,ROOT节点到叶子节点的路径以“.”连接,以此完整路径命名IoTDB中的一个时间序列。例如,图1最左侧路径对应的时间序列名称为“ROOT.ln.wf01.wt01.status”。 基本概念: 设备
CarbonData常见配置参数 本章节介绍CarbonData所有常用参数配置的详细信息。 carbon.properties相关参数 根据用户实际使用场景在服务端或者客户端配置CarbonData相关参数。 服务端:登录FusionInsight Manager页面,选择“集群
views from mvschema; mvschema是schema的名称,catalog固定为“mv” 根据子句“LIKE”筛选视图名满足规则运算表达式的物化视图 show MATERIALIZED VIEWs in mvschema tables like '*mvtb_0001';
结束。 调整超时阈值。 在MRS Manager界面,单击“系统设置 > 阈值配置 > 服务 > Yarn > 超时的任务”,增大当前阈值规则的允许超时的任务个数,然后查看本告警是否消除。 是,处理完毕。 否,执行4。 收集故障信息。 在MRS Manager界面,单击“系统设置
清空搜索框的内容,系统会重新显示所有目录和文件。 执行动作 单击,选择一个或多个目录或文件。 单击“Actions”,在弹出菜单选择一个操作。 “Rename”:表示重新命名一个目录或文件。 “Move”:表示移动文件,在“移至”选择新的目录并单击“移动”完成移动。 “Copy”:表示复制选中的文件或目录。 “Change
的长度截取,“类型”为“CHAR”时实际长度不足则空格补齐,“类型”为“VARCHAR”时实际长度不足则不补齐。 map 是 - 数据处理规则 当配置Hive表名不存在时,作业提交失败。 当配置的列名与Hive表列名不匹配时,读取不到数据,导入数据条数会为0。 当字段的值与实际的类型不匹配时,该行数据会成为脏数据。
的长度截取,“类型”为“CHAR”时实际长度不足则空格补齐,“类型”为“VARCHAR”时实际长度不足则不补齐。 map 是 - 数据处理规则 当配置SparkSQL表名不存在时,作业提交失败。 当配置的列名与SparkSQL表列名不匹配时,读取不到数据,导入数据条数会为0。 当
CarbonData常见配置参数 本章节介绍CarbonData所有配置的详细信息。 carbon.properties相关参数 根据用户实际使用场景在服务端或者客户端配置CarbonData相关参数。 服务端:登录FusionInsight Manager页面,选择“集群 > 服务
ClickHouse本地表设计 规则 单表(分布式表)的记录数不要超过万亿,对于万亿以上表的查询,性能较差,且集群维护难度变大。单表(本地表)不超过百亿。 表的设计都要考虑到数据的生命周期管理,需要进行TTL表属性设置或定期老化清理表分区数据。 单表的字段建议不要超过5000列。
HA脚本相关运行日志(MRS 3.2.0及以后版本):“/var/log/Bigdata/audit/flink/flinkserver/ha” 日志归档规则: FlinkResource运行日志: 服务日志默认20MB滚动存储一次,最多保留20个文件,不压缩。 日志大小和压缩文件保留个数可以在
ffe flink/checkpoint //指定的根目录。 fd5f5b3d08628d83038a30302b611 //以jobID命名的第二层目录。 chk-X // "X"为checkpoint编号,第三层目录。 4f854bf4-ea54-4595-a9d9-9b9080779ffe
的长度截取,“类型”为“CHAR”时实际长度不足则空格补齐,“类型”为“VARCHAR”时实际长度不足则不补齐。 map 是 - 数据处理规则 当配置Hive表名不存在时,作业提交失败。 当配置的列名与Hive表列名不匹配时,读取不到数据,导入数据条数会为0。 当字段的值与实际的类型不匹配时,该行数据会成为脏数据。
的长度截取,“类型”为“CHAR”时实际长度不足则空格补齐,“类型”为“VARCHAR”时实际长度不足则不补齐。 map 是 - 数据处理规则 当配置SparkSQL表名不存在时,作业提交失败。 当配置的列名与SparkSQL表列名不匹配时,读取不到数据,导入数据条数会为0。 当
phoenix表主键可以指定多个,配置多个列为主键时,会按照配置列的先后顺序对其进行拼接。必须配置一个主键列。 map 是 无 数据处理规则 将字段值输出到HBase表中。 原始数据包含NULL值,如果“NULL值处理方式”选中单选框时,将转换为空字符串并保存。如果“NULL值处理方式”不选中单选框时,不保存数据。