检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hbase作为源端时的作业参数 参数类型 参数名 说明 是否必须填 取值样例 基本参数 表名 写入数据的目标表名，单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据，详细说明请参见使用时间宏变量完成增量同步。
trade_report：根据trade_log统计产生，记录每日交易汇总。 前提条件 已建立DLI的数据连接，以“dli_demo”数据连接为例。 如未建立，请参考配置DataArts Studio数据连接参数进行操作。 已在DLI中创建数据库，以“dli_db”数据库为例。 如未创建，请参考新建数据库进行操作。
问题案例总览 表1 问题案例总览 类型 相关文档 网络打通 数据源和资源组网络不通如何排查？ 数据源安全组放通哪些端口可满足Migration访问？ Hudi 如何配置Hudi Compaction的Spark周期任务？ DWS MySQL到DWS实时同步中，同步新增列的DDL时报错怎么办？
配置网络资源：选择已创建的MongoDB、DWS数据连接和已配置好网络连接的资源组。 图3 选择数据连接及资源组 无可选数据连接时，可单击“新建”跳转至管理中心数据连接界面，单击“创建数据连接”创建数据连接，详情请参见配置DataArts Studio数据连接参数进行配置。 无可选资源组时，可单
个工作空间分配。 总使用配额：表示当前实例下已使用的总配额，由系统自动统计。 总分配配额：表示当前实例下分配给所有工作空间可使用的总配额，由系统自动统计。 总配额：表示当前实例所拥有的最大总配额，固定值不可修改。 前提条件 修改工作空间的用户账号，需要满足如下任一条件： DAYU
”模块，进入数据开发页面。 在数据开发主界面的左侧导航栏，选择“配置管理 > 资源管理”。单击“新建资源”，在数据开发模块中创建一个资源关联到1的JAR包，资源名称为“spark-example”。 图1 创建资源 提交Spark作业 用户需要在数据开发模块中创建一个作业，通过作业的DLI
连接管理API（待下线） 创建连接（待下线） 查询连接列表（待下线） 查询连接详情（待下线） 修改连接（待下线） 删除连接（待下线） 导出连接（待下线） 导入连接（待下线） 父主题： 数据开发API（V1）
集群时绑定一个弹性公网IP，作为实例的公网入口。共享版API默认可通过公网访问。 通过demo.html手动生成的认证信息，有效期为15分钟，超时则失效。 调用数据服务API时，如果查询及返回数据的总时长超过默认60秒则会报超时错误。此时可通过访问日志中的API调用时长信息，根据超时阶段进一步优化API配置。
创建脱敏策略 在弹出的新建脱敏页面中填写策略信息，参考表1完成配置。配置完成后单击“确定”即可。 图2 创建脱敏策略界面 表1 创建脱敏策略参数配置 参数 参数描述 *策略名称 用户自定义策略名称，只能包含英文字母、数字、“_”，且长度不能超过64个字符。 描述 为更好地识别脱敏策略，此处
租户名称和租户ID，需要登录到待授权的账号或其归属用户查看，可以参考如下步骤进行获取，租户名称和租户ID即账号名和账号ID： 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面，查看账号名和账号ID、IAM用户名和IAM用户ID，在项目列表中查看项目和项目ID。 图1 新建白名单 授
如需在本地调用专享版API，则需在创建专享版集群时绑定一个弹性公网IP，作为实例的公网入口。共享版API默认可通过公网访问。 调用数据服务API时，如果查询及返回数据的总时长超过默认60秒则会报超时错误。此时可通过访问日志中的API调用时长信息，根据超时阶段进一步优化API配置。 ____________Duration
String 数据连接id，可通过数据连接列表中获取。 project_id 是 String 项目ID，获取方法请参见项目ID和账号ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token，使用To
MongoDB的数据库名称。 linkConfig.userName 是 String 连接MongoDB服务器的用户名。 linkConfig.password 是 String 连接MongoDB服务器的密码。 父主题： 连接参数说明
String 数据连接名称，可通过本接口的全量数据连接列表返回结果获取。 type 否 String 数据连接类型，可通过本接口的全量数据连接列表返回结果获取。 limit 否 String 每次查询的数据连接条数的限制量。 offset 否 String 每次查询的数据连接条数的分页页码。
配置Kafka/DMS Kafka源端参数 作业中源连接为Kafka连接或DMS Kafka连接时，源端作业参数如表1所示。 表1 Kafka作为源端时的作业参数 参数类型 参数 说明 取值样例 基本参数 Topics 支持单个或多个topic。 est1,est2 数据格式 解析数据时使用的格式：
Spark节点的血缘关系时，由于MRS Spark节点不支持自动血缘解析，则需要手动配置MRS Spark节点的血缘关系。操作步骤如下： 参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。 在DataArts Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。
权账号及其归属用户的Token才能通过安全认证，成功调用API。 本章节为您介绍如何通过IAM类型应用授权将API授权给当前账号。 约束与限制 通过IAM应用授权的IAM认证方式API，仅支持通过当前账号及其归属用户的Token进行调用，不支持其他账号及其归属用户调用。如有需要可
待写入数据的数据库名称，支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 写入数据的目标表名，单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据，详细说明请参见使用时间宏变量完成增量同步。
促销信息。 extesion_package_type 否 String 实例附加增量包类型。 binding_instance_id 否 String DataArts Studio实例ID，获取方法请参见实例ID和工作空间ID。 cdm_version 否 String cdm版本号。
导入脚本、作业、环境变量、资源功能部分依赖于OBS服务。 旧空间导出数据 请您登录控制台首页，选择并进入旧工作空间的“数据开发”模块，然后执行如下操作依次导出脚本、导出作业、导出环境变量、导出资源。 导出脚本 在数据开发主界面，单击左侧导航上的“脚本开发”，进入脚本目录。 单击脚本目录中的，选择“显示复选框”。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
