检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在数据开发主界面的左侧导航栏，选择“运维调度 > 作业监控”。 选择“实时集成作业监控”页签，单击作业名称。 在详情页面，选择“日志信息”，在左侧日志列表中单击具体日志文件，即可实时查看作业的运行日志。 图1 日志信息1 图2 日志信息2 支持作业日志主题更换。 作业日志默认实时滚动更新，可在右上角去掉勾选“日志滚动”选项。
数据连接类型 是 Apache HDFS连接固定选择为Apache HDFS。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后，便于统一管理。 说明： 标签的名称，只能包含中文、英文字母、数字
DMS Kafka到OBS参数调优 源端优化 Kafka抽取优化。 可通过在源端配置中单击“Kafka源端属性配置”来添加Kafka优化配置。 图1 添加自定义属性 可使用的调优参数具体如下： 表1 全量阶段优化参数 参数名 类型 默认值 说明 properties.fetch.max
界面。 是 default 集合名 输入或选择集合名，单击输入框后面的按钮可进入集合的选择界面。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据，详细说明请参见使用时间宏变量完成增量同步。 说明： 如果配置了时间宏变量，通过DataArts
Apache Kafka到MRS Kafka参数调优 源端优化 Kafka抽取优化。 可通过在源端配置中单击“Kafka源端属性配置”来添加Kafka优化配置。 图1 添加自定义属性 可使用的调优参数具体如下： 表1 全量阶段优化参数 参数名 类型 默认值 说明 properties
”模块，进入CDM首页。 图1 集群列表 “创建来源”列仅通过DataArts Studio服务进入数据集成界面可以看到。 选择集群操作列中的“更多 > 重启”，进入重启集群确认界面。 图2 重启集群 您可以选择重启CDM服务进程或重启集群VM，选择完成并单击确认后即可完成集群重启操作。
ClickHouse连接固定选择为MapReduce服务（OpenSource ClickHouse）。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后，便于统一管理。 说明： 标签的名称，只能包含中文、英文字母、数字
源端配置解密 创建从HDFS导出文件的CDM作业时，源端数据源选择HDFS、文件格式选择二进制格式后，在“源端作业配置”的“高级属性”中，配置如下参数。 加密方式：选择“AES-256-GCM”。 数据加密密钥：这里的密钥必须与加密时配置的密钥一致，否则解密出来的数据会错误，且系统不会提示异常。
访客：访客可以查看工作空间内的数据，但无法操作业务。建议将只查看空间内容、不进行操作的用户设置为访客。 部署者：企业模式独有，具备工作空间内任务包发布的相关操作权限。在企业模式中，开发者提交脚本或作业版本后，系统会对应产生发布任务。开发者确认发包后，需要部署者审批通过，才能将修改后的作业同步到生产环境。 自定义角色：
的过程中会自动填充该字段。 使用AK/SK认证时必选。 20150907T101459Z Host 请求的服务器信息，从服务API的URL中获取。值为hostname[:port]。端口缺省时使用默认的端口，https的默认端口为443。 使用AK/SK认证时必选。 code.test
式，只能使用STANDALONE模式。 选择STANDALONE模式时，CDM支持在多个MRS集群的HDFS之间迁移数据。 若在一个CDM中同时连接两个及以上开启Kerberos认证且realm相同的集群，只能使用EMBEDDED运行模式连接其中一个集群，其余需使用STANDALONE。
源端配置解密 创建从HDFS导出文件的CDM作业时，源端数据源选择HDFS、文件格式选择二进制格式后，在“源端作业配置”的“高级属性”中，配置如下参数。 加密方式：选择“AES-256-GCM”。 数据加密密钥：这里的密钥必须与加密时配置的密钥一致，否则解密出来的数据会错误，且系统不会提示异常。
Client节点的属性如下 ： 节点名称：您自定义名称，例如“创建CDM作业”。注意区分：在DLF作业中，CDM的迁移作业只是作为节点运行。 URL地址：配置为获取CDM作业的JSON中获取的URL，格式为https://{Endpoint}/cdm/v1.0/{project_id
Studio控制台首页，选择对应工作空间的“数据服务”模块，进入数据服务页面。 在左侧导航选择服务版本（例如：专享版），进入总览页。 单击左侧导航栏中的“审核中心”，进入相应页面后，选择“审核人管理”页签，然后单击“新建”按钮。 图1 新建审核人界面 选择审核人（此处的账户列表来自于工作空
查询数据源可配置权限 查询数据源可配置权限。 3600 40 查询权限集中配置的url信息 查询权限集中配置的url信息，例如obs、hdfs等组件中的url路径。 3600 40 查询数据操作信息 查询数据操作信息。 3600 40 识别规则接口 表3 识别规则接口 API 说明 API流量限制（次/10s）
Studio控制台，进入“空间管理”页签。 在“空间管理”页面，找到所需删除的工作空间，单击其所在行的“更多 > 删除”。 在“删除工作空间”对话框中，如果确认删除，请单击“确认”。 如果当前各组件内还有业务资源，则您需要根据失败提示窗口，删除对应业务资源后再次重试删除。 图1 删除失败提示
PI工作流，最终返回所需数据。 API编排使得业务流程的设计和优化变得更加直观和高效，同时也为二次开发提供了更便捷的方式。您可以在如下场景中可以使用API编排，简化开发工作： 对返回消息进行映射或格式转换：通过API编排的方式能够灵活实现消息映射及格式转换。 数据请求依赖多个数据
选择界面。 default 集合名 写入数据的集合名，单击输入框后面的按钮可进入集合的选择界面。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据，详细说明请参见使用时间宏变量完成增量同步。 说明： 如果配置了时间宏变量，通过DataArts
在开发态下，可以随意编辑、保存、运行脚本/作业，不会影响调度中的脚本/作业；另外在作业关联脚本、配置作业依赖时，被关联的脚本/作业均会读取开发态的配置。 生产态：提交后版本的脚本/作业为生产态，用于正式调度。在正式调度中，调用脚本、实例重跑、作业依赖、补数据等场景均是关联脚本/作业最新的已提交版本。
说明 数据连接类型 是 DMS Kafka连接固定选择为DMS Kafka。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后，便于统一管理。 说明： 标签的名称，只能包含中文、英文字母、数字
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
