检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SDK概述 DataArts Studio服务软件开发工具包（DataArts Studio SDK，DataArts Studio Service Software Development Kit），目前提供了REST API SDK包和数据服务SDK包两种开发包，功能和差异如表
数据架构操作列表 云审计服务（Cloud Trace Service，简称CTS）为用户提供了云账户下资源的操作记录，可以帮您记录相关的操作事件，便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 资源名称 事件名称 查看主题设计 DAYU_DS dsSubject
数据集成操作列表 云审计服务（Cloud Trace Service，简称CTS）为用户提供了云账户下资源的操作记录，可以帮您记录相关的操作事件，便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 创建集群 cluster createCluster
管理中心操作列表 云审计服务（Cloud Trace Service，简称CTS）为用户提供了云账户下资源的操作记录，可以帮您记录相关的操作事件，便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 创建数据连接 dataWarehouse createDataWarehouse
数据目录操作列表 云审计服务（Cloud Trace Service，简称CTS）为用户提供了云账户下资源的操作记录，可以帮您记录相关的操作事件，便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 添加数据掩码 datamask createDataMask
数据质量操作列表 云审计服务（Cloud Trace Service，简称CTS）为用户提供了云账户下资源的操作记录，可以帮您记录相关的操作事件，便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 创建目录 Category createCategory
本例中使用按需计费，完成后删除新建的存储桶即可；另外，DataArts Studio作业日志和DLI脏数据默认存储在以dlf-log-{Project id}命名的OBS桶中，在退订DataArts Studio后可以一并删除。
指定每次批量提交的行数，根据数据目的端和作业数据规模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。 1000 连接属性 自定义连接属性。可选参数，单击“添加”可增加多个指定数据源的JDBC连接器的属性，参考对应数据库的JDBC连接器说明文档进行配置。
为便于水印嵌入任务管理，建议名称中标明要嵌入水印的对象和水印标识。 描述 为更好地识别嵌入水印任务，此处加以描述信息。 *水印标识 系统会将水印标识嵌入到数据表中，标识长度不超过16个字符即可。 *纠错等级 等级越高，水印信息编码位数越长，溯源时误码率越低。
OBS路径 是 删除OBS桶或目录的路径。 说明： 删除的文件将无法恢复，如需保留文件，请在删除前备份该桶下的数据。 表2 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将会再次重试。
调研结果 填写说明 1 工作空间 企业大数据相关部门的组织和关系调查 本示例不涉及 用于合理规划工作空间，降低空间相互依赖的复杂度 各组织部门之间对数据、资源的访问控制 本示例不涉及 涉及到用户的权限和资源权限控制 2 数据集成 有哪些数据源要迁移，数据源版本 CSV格式的数据，存储于OBS
最新动态 本文介绍了DataArts Studio各特性版本的功能发布和对应的文档动态，新特性将在各个区域（Region）陆续发布，欢迎体验。 2022年4月 序号 功能名称 功能描述 阶段 相关文档 1 数据服务 新增支持API全量导出。 数据服务脚本脚本模式API支持返回别名。
Flink调试OBS桶 在进行Flink SQL作业调试时，调试OBS桶必须选择并行桶，可以在工作空间进行默认配置。 在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。 单击“默认项设置”，可设置“Flink调试OBS桶”配置项。 配置Flink调试OBS桶。
目的 数据是企业核心资产，企业需要建立起数据字典，有效管理其日益重要的数据和信息资源；同时建立数据持续改进机制，来不断提升数据质量。数据的价值和风险应被有效管理，以支撑企业管理简化、业务流集成、运营效率提升和经营结果的真实呈现。数据准确是科学决策的基础，数据架构和标准的统一是全流程高效运作
目的端优化 Kafka写入优化 Kafka写入通常速率极快，若有阻塞的场景请优先增加并发解决。 父主题： 任务性能调优
CDM的作业配置： “源目录或文件”输入：/hbase/data/default/src_test/.snapshot/s0 目的端“写入目录”输入：/hbase/data/default/表名 执行fixMeta和fixAssignments等命令恢复表，参考使用命令恢复历史不变的数据
Oracle到DWS迁移时，可能出现目的端写太久导致迁移超时的情况。此时请减少Oracle源端“单次请求行数”参数值的设置。 1000 单次提交行数 可选参数，单击“显示高级属性”后显示。 指定单次批量提交的行数。
可对比源端和目的端的数据，也可以通过对比记录数来看迁移结果是否成功、数据是否丢失。 修改 修改作业参数 可重新配置作业参数，支持重新选择源连接和目的连接。 编辑作业JSON 直接编辑作业的JSON文件，作用等同于修改作业的参数配置。
同时，可通过在Hudi的目的端配置中单击“Hudi表属性全局配置”或在映射后的单表“表属性编辑”中，添加优化参数。
在选择UDF Jar之前，您需要将UDF Jar包上传至OBS桶中，并在“资源管理”页面中新建资源，具体操作请参考新建资源。 用户可以在SQL中调用插入Jar包中的自定义函数。 DLI队列 是 默认选择“共享队列”，用户也可以选择自定义的独享队列。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
