检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
valueStoreType 是 String 关系表行数据在Redis中的存储方式分为“string”和“hash”两种存储方式。 STRING:表示用字符串通过分隔符来表示一行数据的各列,可以有效节省存储空间。 HASH:表示一行数据通过“列名:列值”的方式存储在hash表中。 fromJobConfig
HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) FusionInsight数据源不支持作为目的端。 仅支持本地存储,不支持存算分离场景。 不支持Ranger场景。
HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) FusionInsight数据源不支持作为目的端。 仅支持本地存储,不支持存算分离场景。 不支持Ranger场景。
后删除新建的存储桶即可;另外,DataArts Studio作业日志和DLI脏数据默认存储在以dlf-log-{Project id}命名的OBS桶中,在退订DataArts Studio后可以一并删除。 DLI DLI计费说明 DLI服务未购买专属队列时,涉及存储收费和扫描量计
“自动创建”设置为“不自动创建”时,无该此参数。 表路径。 - 存储格式 “自动创建”设置为“不自动创建”时,无该此参数。 选择存储格式。 行式存储格式:TEXTFILE。 列式存储格式:ORC、RCFILE、PARQUET。 TEXTFILE使用明文存储,当数据存在特殊字符的场景下可能会导致数据写
toJobConfig.orientation 否 枚举 存储方式,此参数只有当数据库类型为DWS时启用,当需要自动创建DWS数据库表,指定表的数据存储方式: ROW:表的数据以行式存储。 COLUMN:表的数据以列式存储。 toJobConfig.isCompress 否 Boolean
设置通知发送的具体时间点,可以精确设置到小时和分钟。 选择主题 是 设置通知发送的主题。 选择OBS桶 是 设置通知记录数据存储的位置。 开关 是 是否开启通知,默认开启。 单击“确定”。 数据开发模块的通知管理功能是通过消息通知服务来发送消息,消息通知服务的使用可能会产生费用,具体请咨询消息通知服务。
审核中心 开发环境生成的规范建模、数据处理类任务提交后,都会存储在审核中心页面,然后在审核中心页面进行任务发布,这些任务才会在生产环境上线。 审核人员审核对象 如果您是审核人员,请使用审核人员的账号参考以下步骤审核对象。 在DataArts Studio控制台首页,选择对应工作空
对应关系数据库的表名。 TABLENAME 值存储类型 存储类型分STRING、HASH。 STRING 高级属性 键分隔符 用来分隔关系数据库的表和列名。 _ 值分隔符 以STRING方式存储,列之间的分隔符。 存储类型为列表时字串分割成数组的字符。 ; 字段相同 “值存储类型”选择“HASH”时,
CDM有哪些安全防护? CDM是一个完全托管的服务,提供了以下安全防护能力保护用户数据安全。 实例隔离:CDM服务的用户只能使用自己创建的实例,实例和实例之间是相互隔离的,不可相互访问。 系统加固:CDM实例的操作系统进行了特别的安全加固,攻击者无法从Internet访问CDM实例的操作系统。
Hive 对象存储:对象存储服务(OBS) 搜索:Elasticsearch 公测中:云搜索服务(CSS),表格存储服务(CloudTable) NoSQL 分布式缓存服务(DCS) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS)
选择转储服务类型,目前支持转储至: CloudTable:通道里的流式数据存储在DIS中,并实时导入表格存储服务Cloudtable集群的HBase/OpenTSDB表。 OBS:通道里的流式数据存储在DIS中,并周期性导入对象存储服务OBS;通道里的实时文件数据传输完成后,导入OBS。 说明:
据内容是使用二进制格式存储的,CDM会无法解析。 从HBase/CloudTable导出数据时,由于HBase/CloudTable是无Schema的存储系统,CDM要求源端数值型字段是以字符串格式存储,而不能是二进制格式,例如数值100需存储格式是字符串“100”,不能是二进制“01100100”。
URL的文件,包括第三方对象存储的公共读取场景和网盘场景。 https://bucket.obs.myhuaweicloud.com/object-key 列表文件 选择“是”,将待上传的文本文件中所有URL对应的文件拉取到OBS,文本文件记录的是HDFS上的文件路径。 是 列表文件源连接
套餐包到期未续订或按需资源欠费时,我的数据会保留吗? 云服务进入宽限期/保留期后,华为云将会通过邮件、短信等方式向您发送提醒,提醒您续订或充值。保留期到期仍未续订或充值,存储在云服务中的数据将被删除、云服务资源将被释放。 宽限期:指客户的包周期资源到期未续订或按需资源欠费时,华为云提供给客户进行续费与充值的时间,宽限期内客户可正常访问及使用云服务。
查看数据开发的节点日志时,系统提示“OBS日志文件不存在,请检查文件是否被删除或者没有OBS写入权限”,如下图所示: 图1 提示信息 原因分析 数据开发的日志存储在OBS桶中,您所在的用户组没有OBS的操作权限,导致在查看节点日志时系统提示报错,或者OBS日志文件不存在时系统提示报错。 解决方法 使用管理员用户登录IAM控制台。
Manager的账号。 cdm 密码 登录MRS Manager的密码。 - OBS支持 是否支持OBS存储,如果hudi表数据存储在OBS,需要打开此开关。 是 访问标识(AK) “OBS支持”设置为“是”时,呈现此参数。 AK和SK分别为登录OBS服务器的访问标识与密钥。 您需要先创建当前账号的访问密钥,并获得对应的AK和SK。
新建码表 码表,也称lookup表、数据字典表,一般由中英文名称编码组成,由可枚举数据构成,存储枚举数据名称与编码的映射关系。码表的作用主要有: 在数据清洗中用于标准化业务数据以及补充映射字段。 在质量监控中用于监控业务数据的值域范围。 在维度建模中可以引申为枚举维度。 新建码表并发布
存储到硬盘分区上。 DWS_COLUMN:列存表。列存储是指将表按列存储到硬盘分区上。 DWS_VIEW:视图存表。视图存储是指将表按视图存储到硬盘分区上。 MRS_HIVE模型支持HIVE_TABLE和HIVE_EXTERNAL_TABLE。 MRS_SPARK模型支持HUDI_COW和HUDI_MOR。
生成异常数据:开启此项,表示异常数据将按照配置的参数存储到规定的库中。 数据库或Schema:开启“生成异常数据”时显示此项,表示存储异常数据的数据库或Schema 表前缀:开启“生成异常数据”时显示此项,表示存储异常数据的表的前缀。 表后缀:开启“生成异常数据”时显示此项,表示存储异常数据的表的后缀。 添