检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
字段转换器配置指导 操作场景 作业参数配置完成后，将进行字段映射的配置，您可以单击操作列下创建字段转换器。 如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，且源端“文件格式”配置为“二进制格式”（即不解析文件内容直接传输），则没有字段映射这一步骤。 在创
在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。 选择“模板配置”。 配置脚本模板信息。 单击“新建”进入脚本模板配置界面。 输入“模板名称”。 在界面上输入SQL语句，并引入脚本参数。 配置脚本模板参数。参数名称不可修改，参数值可以进行修改。 图1 配置脚本模板 单击“保存”。 您可以对已创建的脚本模板进行查看、修改和删除。
新建数据服务审核人 在创建API前，需要新建数据服务审核人。 创建API 创建API即生成API和注册API。其中，生成API支持两种方式（配置方式生成API和脚本/MyBatis方式生成API）。 调试API API创建后需要验证服务是否正常，管理控制台提供了调试功能。 发布API
在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。 单击“环境变量”，在“环境变量配置”页面，配置如表1所示的变量或常量，单击“保存”。 变量和常量的区别是其他工作空间或者项目导入的时候，是否需要重新配置值。 变量是指不同的空间下取值不同，需要重新配置值，比如“工作空
Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。 在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。 选择“OBS桶”。 配置OBS桶的信息。 图1 配置OBS桶 单击“保存”，完成配置。 父主题： 配置
发页面。 在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。 单击“调度身份配置”，公共调度身份选择“公共委托”。 单击右边的“+”在委托列表中选择合适的委托，也可重新创建委托。创建委托和配置权限，请参见参考：创建委托和参考：配置委托权限。 图1 配置工作空间级委托 单击
配置任务组 通过配置任务组，可以更细粒度的进行当前任务组中的作业节点的并发数控制。 约束限制 该功能不支持实时处理作业，只支持批处理作业。 任务组不能跨工作空间去使用。 对于Pipeline作业，每个节点都可以配置一个任务组，也可以在作业里面统一配置任务组，如果配置了作业级任务组，则优先级高于节点的任务组。
是否需要测试Hive JDBC连通。 否 是否使用集群配置 您可以通过使用集群配置，简化Hadoop连接参数配置。 否 集群配置名 仅当“是否使用集群配置”为“是”时，此参数有效。此参数用于选择用户已经创建好的集群配置。 集群配置的创建方法请参见管理集群配置。 hive_01 单击“显示高级属性
该参数表示抽取指定值的partition，属性名称为分区名称，属性值可以配置多个值（空格分隔），也可以配置为字段取值范围，接受时间宏函数。详细说明请参见使用时间宏变量完成增量同步。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，
TTPS的API，需要配置相关的SSL证书或跳过SSL校验，否则将无法访问。 请求方式 HTTP请求方式，表示请求什么类型的操作，包含GET、POST等，遵循resultful风格。 GET：请求服务器返回指定资源，推荐使用GET请求。 POST：请求服务器新增资源或执行特殊操作
行该分支。 表达式 当条件类型为“满足当前条件时”，需要根据表达式配置条件。 条件分支表达式由上游算子的节点编码和变量名组成，使用方法请参考变量表达式定义方法。 表达式定义方法 在定义条件分支的表达式时，需要配置变量表达式。当前仅入口API和普通API支持定义变量，条件分支、并行
Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。 在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。 选择“调度日历配置”。 单击“新建”，进入创建调度日历页面。 图1 创建调度日历 配置调度日历相关参数。 输入“日历名称”、选择“默认工作日”以及对调度日历进行备注。
400 图1 配置节点并发数 单击“保存”，完成配置。 查看历史节点并发数 在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。 选择“节点并发数”。 在历史节点并发数界面，选择历史时间段。 单击“确定”。 查看历史节点并发数的时间区间最大为24小时。 父主题： 配置
列资源、配置MRS队列属性（离线/实时）以及为指定的队列配置用户权限策略，另外工作空间管理员用户也可以为用户组/用户配置队列权限策略。 当前工作空间分配的队列资源和配置的队列权限并无绑定关系，队列权限策略实际上落在数据源配置中。因此，当删除当前工作空间的队列资源后，已配置的队列权
进入API编排页面 拖拽“入口API”算子到画布，单击画布上的算子打开配置面板，配置入口API信息。 图2 配置入口API算子 在API目录找到需要转换的普通API并拖拽到画布，挂载到入口API下。单击画布上的普通API打开配置面板，复制节点编码例如：NormalApi_5274d。 图3
环境变量、作业参数、脚本参数有什么区别和联系？ 打不开作业日志，返回404报错？ 配置委托时获取委托列表失败如何处理？ 数据开发创建数据连接，为什么选不到指定的周边资源？ 配置了SMN通知，却收不到作业失败告警通知？ 作业配置了周期调度，但是实例监控没有作业运行调度记录？ Hive SQL和Spark
配置 配置环境变量 配置OBS桶 管理作业标签 配置调度身份 配置节点并发数 配置模板 配置调度日历 配置默认项 配置任务组 配置互斥 父主题： 配置管理
进入CDM主界面，进入集群管理界面。选择CDM集群后的“作业管理 > 连接管理 > 集群配置管理”。 在集群配置管理界面，选择“新建集群配置”，配置参数填写如下： 图2 新建集群配置 集群配置名：根据连接的数据源类型，用户可自定义便于记忆、区分的集群配置名。 上传集群配置：单击“添
回收用户权限，用户也可以主动交还不再需要的权限。 权限审批管理：提供可视化、流程化的管理授权机制，以及对审批流程进行事后追溯。 父主题： 配置数据访问权限
1000 ScrollId超时时间配置 Elasticsearch scroll查询时会记录一个scroll_id，超时或者scroll查询结束后会清除请求的srcoll_id，通过设置这个超时时间配置，来指定scroll_id超时时间。 5 父主题： 配置CDM作业源端参数
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
