检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink Jar包冲突报错ClassCastException类型转换异常 问题现象 Flink lib中引入第三方依赖包后,启动作业报错: ClassCastException: X Cannot be cast to X 问题原因 引入的第三方依赖包与Flink中的依赖包有冲突
源文件如下图: 配置“增加常量字段”算子,增加两个字段C和D: 转换后,将A、B、C和D按顺序输出,结果如下: 父主题: Loader转换类算子
转换类算子
MRS集群切换VPC后集群状态异常不可用 问题现象 客户MRS集群,在ECS侧将所有节点的VPC切换后集群状态异常。
单击待更换磁盘的“节点名称”进入弹性云服务器管理控制台,单击“关机”。 联系华为云支持人员在后台更换磁盘。 在弹性云服务器管理控制台,单击“开机”,将已更换磁盘的节点开机。 初始化Linux数据盘。 具体步骤可参见初始化数据盘对新磁盘进行初始化操作。
EL操作转换:指定算法,对字段值进行运算,目前支持的算法有:md5sum、sha1sum、sha256sum和sha512sum等。 字符串大小写转换:对已有的字符串类型字段,切换大小写,生成新字段。 字符串逆序转换:对已有的字符串类型字段,做逆序变换,生成新字段。
EL操作转换:指定算法,对字段值进行运算,目前支持的算法有:md5sum、sha1sum、sha256sum和sha512sum等。 字符串大小写转换:对已有的字符串类型字段,切换大小写,生成新字段。 字符串逆序转换:对已有的字符串类型字段,做逆序变换,生成新字段。
云硬盘 变更MRS集群的计费模式会同时变更集群弹性云服务器所挂载云硬盘的计费模式。 按需非共享云硬盘不支持单独变更为包年/包月,需跟随弹性云服务器一起变更为包年/包月,变更后到期时间与云服务器一致。 父主题: 变更计费模式
查看MRS作业详情和日志 用户通过管理控制台可在线查看当前MRS集群内所有作业的状态详情,以及作业的详细配置信息和运行日志信息。 由于Spark SQL和Distcp作业在后台无日志,因此运行中的Spark SQL和Distcp作业不能在线查看运行日志信息。
TTL变更 场景1:TTL周期由小变大方案: 方案1:新建一张TTL时间为最新时间的表结构相同但名不同的表,把原表的数据导入新表,交换表名字; 方案2:业务代码中异步下发CK的修改TTL语句,下发之后业务代码不需要等待执行结果 1)类似在shell中,nohup sh xx.sh
此处参数设置的为Loader全局的默认分割符,如果作业的转换步骤中配置了分割符,则以转换步骤为准,转换步骤中没有配置分割符则以此处的默认分割符为准。 父主题: 使用Loader
此处参数设置的为Loader全局的默认分隔符,如果作业的转换步骤中配置了分隔符,则以转换步骤为准,转换步骤中没有配置分隔符则以此处的默认分隔符为准。 父主题: Loader运维管理
父主题: 更换MRS集群证书
请检查相关字段的数据类型演进,并验证它是否确实可以被视为根据Hudi代码库的有效数据类型转换。 父主题: Hive同步
请检查相关字段的数据类型演进,并验证它是否确实可以被视为根据Hudi代码库的有效数据类型转换。 父主题: Hudi常见问题
执行调度器切换。 调度器切换分为三种模式: 0:将Capacity调度器配置转换到Superior,然后将Capacity调度器切换到Superior。 1:只将Capacity调度器配置转换到Superior。 2:只将Capacity调度器切换到Superior。
变更计费模式 变更计费模式概述 按需转包年/包月
执行以下命令切换到客户端目录。 cd 客户端安装目录 执行以下命令配置环境变量。
Impala开发建议 Impala SQL编写之不支持隐式类型转换 查询语句使用字段的值做过滤时,不支持使用Hive类似的隐式类型转换来编写Impala SQL: Impala示例: select * from default.tbl_src where id = 10001; select
Impala开发建议 Impala SQL编写之不支持隐式类型转换 查询语句使用字段的值做过滤时,不支持使用Hive类似的隐式类型转换来编写Impala SQL: Impala示例: select * from default.tbl_src where id = 10001; select