检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
将数据逻辑沉淀至数据平台，实现应用逻辑与数据逻辑解耦，在减少数据模型的重复开发的同时，避免数据逻辑调整带来的“散弹式修改”。 将数据逻辑相关的存储与计算资源下沉到数据平台，降低应用侧的资源消耗。 减少大量明细、敏感数据在应用侧的暴露，同时通过API审核发布、鉴权流控、动态脱敏等手段，提升数据安全能力。
故障恢复 DataArts Studio云服务每天会定时全量备份数据库数据，当服务故障后，通过备份恢复等技术方案支持数据恢复。 关于DataArts Studio支持的备份信息，请参见备份管理。 父主题： 安全
1 端口 配置为要连接的数据库的端口。 不同的数据库端口不同，请根据具体情况配置。例如： SQLServer默认端口：1433 PostgreSQL默认端口：5432 数据库名称 配置为要连接的数据库名称。 dbname 用户名 待连接数据库的用户。该数据库用户需要有数据表的读写权限，以及对元数据的读取权限。
Redis键前缀 键的前缀，类似关系型数据库的表名。 TABLE 值存储类型 仅支持以下数据格式： STRING：不带列名，如“值1，值2”形式。 HASH：带列名，如“列名1=值1，列名2=值2”的形式。 STRING 是否以列值作为field 当值存储类型为HASH时显示此参数。仅支
场景说明 数据开发模块作为一站式大数据开发平台，支持多种大数据工具的开发。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能；可以将SQL语句转换为MapReduce任务进行运行。 环境准备 已开通MapReduce服务MRS，并创建MRS集群，为Hive
Studio数据连接参数。 *数据库 选择数据库。如果您还未创建数据库，可以前往DataArts Studio数据开发控制台进行创建，详情请参见新建数据库。 队列 DLI队列。该参数仅DLI连接类型有效 Schema DWS或POSTGRESQL的模式。该参数在DWS或POSTGRESQL连接类型有效。
该参数支持配置通配符（*），实现导出以某一前缀开头或者以某一后缀结尾的所有数据库。例如： SCHEMA*表示导出所有以“SCHEMA”开头的数据库。 *SCHEMA表示导出所有以“SCHEMA”结尾的数据库。 *SCHEMA*表示数据库名称中只要有“SCHEMA”字符串，就全部导出。 SCHEMA_E
作业中源连接为Hive连接时，源端作业参数如表1所示。 表1 Hive作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 数据库名称 输入或选择数据库名称。单击输入框后面的按钮可进入数据库选择界面。 default 表名 输入或选择Hive表名。单击输入框后面的按钮可进入表的选择界面。 该参数支
getDatasourceConnections 查询数据库 DLMDataSourceDatabase getDatasourcedatabases 查询数据库表 DLMDataSourceTable getDatasourcedatables 查询数据库表的字段 DLMDataSourceTableField
单击“文件 > 另存为”，在弹出的对话框中，“保存类型”选择为“所有文件(*.*)”，在“文件名”处输入文件名和.csv后缀，选择“UTF-8”编码格式（不能带BOM），则能以CSV格式保存该文件。 将源数据CSV文件上传到OBS服务。 登录控制台，选择“存储 > 对象存储服务 OBS”，进入OBS控制台。
需要将编码格式设置为“UTF-8”，否则后续脚本运行时会报错。 准备数据文件“in.txt”，内容为一段英文单词。 操作步骤： 将脚本和数据文件传入OBS桶中，如下图。 图1 上传文件至OBS桶 本例中，wordcount.py和in.txt文件上传路径为：obs://obs-tongji/python/
定义识别规则（部分高级特性） 您可以通过定义敏感数据识别规则，来有效识别数据库内的敏感数据字段。当前识别规则支持使用内置规则和简单的正则表达式。 如果您对需要更强大的识别规则，数据还支持您使用组合规则。组合规则的多个子规则间可进行与或非逻辑判断，单个子规则支持Groovy脚本、正
se_name”的数据库 database_name.table_name：筛选数据库名包含“database_name”的数据库，在匹配到的数据库中再匹配表名包含“table_name”的数据表 例如： 填写为“datatest”，则元数据实时同步将同步数据库名包含“datatest”的数据库中的数据表。
请参考创建CDM集群进行创建。 数据集成配置 配置文件路径 是 “是否使用集群配置”参数开启时，呈现此参数。集群配置文件的OBS存放路径。 keytab文件路径 是 认证类型为KERBEROS时显示该参数。 配置keytab文件的OBS存放路径。 Principal名称 是 认证类型为KERBEROS时显示该参数。
用户在关系建模过程中，可以从数仓规划去设计物理模型。 物理模型：是在逻辑数据模型的基础上，考虑各种具体的技术实现因素，进行数据库体系结构设计，真正实现数据在数据库中的存放，例如：所选的数据仓库是DWS或MRS_Hive。 维度建模 维度建模是从分析决策的需求出发构建模型，它主要是为
若选择SQL语句方式，数据开发模块将无法解析您输入SQL语句中携带的参数。 数据连接 是 默认选择SQL脚本中设置的数据连接，支持修改。 数据库 是 默认选择SQL脚本中设置的数据库，支持修改。 脚本参数 否 关联的SQL脚本如果使用了参数，此处显示参数名称，请在参数名称后的输入框配置参数值。参数值支持使用EL表达式。
生成异常数据：开启此项，表示异常数据将按照配置的参数存储到规定的库中。 数据库或Schema：开启“生成异常数据”时显示此项，表示存储异常数据的数据库或Schema 表前缀：开启“生成异常数据”时显示此项，表示存储异常数据的表的前缀。 表后缀：开启“生成异常数据”时显示此项，表示存储异常数据的表的后缀。 添
数据质量当前不支持MRS Hive组件的严格模式。 数据库 选择配置的数据质量规则所应用到的数据库。 说明： 数据库基于已建立的数据连接。 当“规则类型”选择“库级规则”或“表级规则”，数据对象选择对应的数据库即可。 当“规则类型”选择“自定义规则”，选择对应的数据库即可。 scheme 如果数据源
配置元数据实时同步的数据库和数据表范围，不填写默认不筛选。 可填写为如下两种形式之一： database_name：筛选数据库名包含“database_name”的数据库 database_name.table_name：筛选数据库名包含“database_name”的数据库，在匹配到的
variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment String ak = System.getenv("CLOUD_SDK_AK"); String sk = System.get
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
