检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据库写入OBS场景,表中小驼峰命名字段,提示字段不存在 问题描述 数据库写入OBS场景,表中小驼峰命名字段,提示字段不存在。 故障分析 查看日志报PG数据库表字段找不到所致,分析是字段命名使用小驼峰,而PG数据库区分大小写所以无法找到。
原因分析 这是由于数据库表名中含有特殊字符导致识别出语法错误,按数据库对象命名规则重新命名后恢复正常。 例如,DWS数据仓库中的数据表命名需要满足以下约束:长度不超过63个字符,以字母或下划线开头,中间字符可以是字母、数字、下划线、$、#。 解决方案 重新命名。
本章节描述了CDM上报云监控的监控指标的命名空间、监控指标列表和维度定义。 如果您需要查看CDM相关的监控指标,请参见查看CDM监控指标。 如果您需要在监控数据满足指定条件时发送报警通知,可参见设置CDM告警规则。 前提条件 使用CDM监控功能,需获取CES相关权限。
例如:test_${dateformat(yyyyMMdd, -1, DAY)} 注意文件名格式要符合hdfs文件路径命名规范。 父主题: 目的端作业参数说明
EveryDay:每天零点零分创建新索引,新索引的命名格式为“索引名+年+月+日”,例如“index20181217”。 EveryWeek:每周周一的零点零分创建新索引,新索引的命名格式为“索引名+年+周”,例如“index201842”。
每周:每周周一的零点零分创建新索引,新索引的命名格式为“索引名+年+周”,例如“index201842”。 每月:每月一号零点零分创建新索引,新索引的命名格式为“索引名+年+月”,例如“index201812”。 不创建:选择此项表示不创建定时索引。
注意文件名格式要符合obs文件路径命名规范。 父主题: 目的端作业参数说明
表1 作业参数 参数 说明 作业名称 自定义作业的名称,只能包含英文字母、数字、中文、“-”、“_”、“.”,且长度为1~128个字符。 作业类型 选择作业的类型。 批处理作业:按调度计划定期处理批量数据,主要用于实时性要求低的场景。
中执行: flush <table name> 在源端CDH集群HBase shell执行: compact <table name> 如果表没有打开Snap功能,则执行: hadoop dfsadmin -allowSnapshot $path 创建HDFS Snapshot,例如命名
表5 单位信息表(unit_general) 字段名称 字段类型 字段说明 id smallint 计量单位编码 unit_en string 计量单位英文名称 unit_cn string 计量单位中文名称 父主题: 贸易数据极简上云与统计分析
创建源数据连接,一直报错用户名和密码错误,但是实际填的没有错 数据库写入OBS场景,表中小驼峰命名字段,提示字段不存在 CSV数据类型插入MySQL报错invalid utf-8 charater string '' 定时任务失败,检查连接器连接存在问题 脏数据导致CSV数据类型问题插入
Cdm.0243 400 重命名%s为%s失败。 重命名失败。 可能是名称已存在,请重新命名后再重试。 Cdm.0244 400 创建文件%s失败。 创建文件失败。 请确认是否具有创建权限,或稍后重试。若无法解决,请联系客服或技术支持人员协助解决。
将用户的认证凭据文件重命名为user.keytab。 将user.keytab文件压缩为无目录格式的zip包:user.keytab.zip。 集群配置文件包含集群的配置参数。如果修改了集群的配置参数,需重新获取配置文件。 Keytab文件为认证凭据文件。
是 DIS分区ID DIS分区ID,该参数支持输入多个分区ID,使用英文逗号(,)分隔。 0,1,2 偏移量参数 设置从DIS拉取数据时的初始偏移量: 最新:最大偏移量,即拉取最新的数据。 上次停止处:从上次停止处继续读取。 最早:最小偏移量,即拉取最早的数据。
obs://bucket/dir/test.txt 属性配置 需要集成的表名,多个表名使用英文逗号“,”分开,请务必配置,不要有空格,默认无需配置。 - 父主题: 配置连接参数
phoneNum 否 String 手机号码,最多填写20个,以英文逗号分隔。 email 否 String 邮箱地址,最多填写20个,以英文逗号分隔。 响应参数 无 请求示例 修改集群配置。
namespace String 命名空间。 task ClusterTask object 任务信息。 publicEndpoint String 集群绑定的EIP。
并且该参数支持输入多个,以英文的逗号“,”分隔开。 例如上述场景中“runAt”输入“1,2,3,4,5”,就表示每个月的1日、2日、3日、4日和5日执行该定时任务。
namespace String 命名空间。 eipId String 弹性ip id。 failedReasons FailedReasons object 失败原因。集群处于正常状态时不返回。 dbuser String 数据库用户。
仅支持英文字母的数据库名、表名与列名,不支持存在空格、符号等特殊字符。 仅支持日期、数字、布尔、字符(除SHORTTEXT) 类型的数据类型,不支持二进制类型等其他数据类型。 迁移时不支持目的端自动建表。