检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OBS服务：在数据集成或数据开发时，DataArts Studio会将脏数据或日志文件写入到OBS服务中，则会产生对象存储服务费用，收费标准请参见OBS价格详情。
将源数据CSV文件上传到OBS服务。 登录控制台，选择“存储 > 对象存储服务 OBS”，进入OBS控制台。 单击“创建桶”，然后根据页面提示配置参数，创建一个名称为“fast-demo”的OBS桶。
443 OBS桶类型 用户下拉选择即可，一般选择为“对象存储”。 对象存储 访问标识(AK) AK和SK分别为登录OBS服务器的访问标识与密钥。 您需要先创建当前账号的访问密钥，并获得对应的AK和SK。 您可以通过如下方式获取访问密钥。
DataArts Studio支持对接所有华为云的数据湖与数据库云服务作为数据底座，例如MRS Hive、数据仓库服务DWS等，也支持对接企业传统数据仓库，例如Oracle、MySQL等。
是否写入脏数据：如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中，以便后面查看，可通过该参数配置，写入脏数据前需要在CDM先配置好OBS连接。这里保持默认值“否”即可，不记录脏数据。
开启数据服务集群OBS日志转储 功能介绍 开启数据服务集群OBS日志转储。 调用方法 请参见如何调用API。
表1 配置空间资源权限策略参数说明 参数名 参数描述 *策略名称 标识空间资源权限策略，为便于策略管理，建议名称中包含资源对象和授权对象。 资源对象 数据连接 选择需要授权的管理中心组件数据连接。如需新建数据连接，请参考创建DataArts Studio数据连接。
单击“请选择”按钮，您可以选择一个已创建的OBS桶和对象，系统将基于工作空间全局配置作业日志OBS桶。 如果不配置该参数，DataArts Studio数据开发的作业日志默认存储在以“dlf-log-{projectId}”命名的OBS桶中。
需要通过CDM配置字段转换器，将日期字段的格式转换为云搜索服务的目的端格式。 解决方案 编辑作业，进入作业的字段映射步骤，在源端的时间格式字段后面，选择新建转换器，如图3所示。
将源数据CSV文件上传到OBS服务。 登录控制台，选择“存储 > 对象存储服务 OBS”，进入OBS控制台。 单击“创建桶”，然后根据页面提示配置参数，创建一个名称为“fast-demo”的OBS桶。
数据开发EL表达式使用简单的算术和逻辑计算，引用内嵌对象，包括作业对象和一些工具类对象。 环境变量 环境变量是在操作系统中一个具有特定名字的对象，它包含了一个或者多个应用程序所将使用到的信息。 补数据 手工触发周期方式调度的作业任务，生成过去某时间段内的实例。
单击“请选择”按钮，您可以选择一个已创建的OBS桶和对象，系统将基于工作空间全局配置作业日志OBS桶。 如果不配置该参数，DataArts Studio数据开发的作业日志默认存储在以“dlf-log-{projectId}”命名的OBS桶中。
管理配置中心 约束与限制 配置中心中各类对象的自定义项配额如下： 主题自定义项10条。 表自定义项30条。 属性自定义项10条。 业务指标自定义项50条。 主题流程配置 主题流程配置用于自定义主题设计中的主题层级和自定义属性。
原因分析 用户OBS中的数据超出了SQL Server数据库的字段长度限制。 解决方案 在SQL Server数据库中建表时，将数据库字段改大，长度不能小于源端OBS中的数据长度。 父主题： 数据集成
每张目的端表会在基础路径下创建子目录，支持HDFS或OBS路径。 OBS格式：obs://{桶名}。 HDFS格式：/tmp。 Hudi表属性全局配置：单击“查看编辑”配置Hudi表属性全局配置。
如果Oracle数据库是在本地数据中心或第三方云上，需要确保Oracle可通过公网IP访问，或者已经建立好了企业内部数据中心到华为云的VPN通道或专线。 已在CDM集群的“作业管理 > 连接管理 > 驱动管理”页面，上传了Oracle数据库驱动。
解决方案 作业日志在OBS桶中存储，您需要先在工作空间中配置作业日志的桶目录，然后确认当前账户是否具有OBS读权限（可以通过检查IAM中OBS权限、OBS桶策略来确认）。 OBS路径仅支持OBS桶，不支持并行文件系统。
环境准备 已开通对象存储服务OBS，并创建桶，例如“obs://dlfexample”，用于存放Spark作业的JAR包。 已开通数据湖探索服务DLI，并创建Spark集群“spark_cluster”，为Spark作业提供运行所需的物理资源。
华为联合亿信华辰提供数据入表全方位助力 作为Gartner认可的数据资产管理标杆厂商、IDC认证的中国数据治理解决方案市场第一厂商，亿信华辰一直走在数据资产化前列。面对数据入表的需求，亿信华辰不仅提供全套数据治理软件，让数据采集、加工、治理、应用更加便捷。还为企业搭建数据入表所需的信息系统及提供成本法入表服务
（可选）修改作业日志存储路径 作业日志和DLI脏数据默认存储在以dlf-log-{Project id}命名的OBS桶中，您也可以自定义日志和DLI脏数据存储路径，支持基于工作区全局配置OBS桶。 约束限制 该功能依赖于OBS服务。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
