检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
result.saveAsTextFile(outputPath) #停止SparkContext sc.stop() 需要将编码格式设置为“UTF-8”，否则后续脚本运行时会报错。 准备数据文件“in.txt”，内容为一段英文单词。 操作步骤： 将脚本和数据文件传入OBS桶中，如下图。
自定义角色的角色名称、类型、权限等配置完成后，单击“确定”即可新增自定义角色。 自定义角色完成后，请您参考添加工作空间成员和角色，将IAM用户设置为自定义角色。 示例一 某数据运营工程师通过DataArts Studio进行数据服务工作，仅需要数据服务组件的权限。管理员如果直接赋予该
管理工作空间 创建并管理工作空间 设置工作空间配额 （可选）修改作业日志存储路径
SQL和Impala SQL脚本可以查看右侧的数据表，单击表名前面的单选框，可以查看该数据的列名、字段类型和描述。 支持通过“责任人”和“更新时间”进行过滤查询，方便快速过滤出最近更新的脚本。 脚本开发支持细粒度权限管控，在数据安全模块对数据开发脚本目录权限管控策略进行配置。 脚本开发的使用流程如下：
创建并配置简单模式工作空间 创建简单模式工作空间 设置工作空间配额 （可选）修改作业日志存储路径 父主题： 购买并配置DataArts Studio
总览”，单击并进入“资产报告”页面。 首次进入“资产报告”页面，需要配置资产报告任务。单击右上方的配置图标，弹出配置窗口。 依次选择生效时间、调度周期和调度具体时间，系统将按配置的时间调度运行资产报告任务，更新资产报告内容。 图2 配置资产报告任务 系统调度运行资产报告任务后，重新进入“资产报告”页
航树单击，选择“创建通用角色”。参考表1完成通用角色创建，配置完成单击“确定”，系统默认进入新建的角色详情配置页面。 表1 参数设置 参数名 参数设置 *权限集名称 标识权限集，实例下唯一。 建议名称中包含含义，避免无意义的描述，以便于快速识别所需权限集。 *父权限集 选择对应的
从文件类抽取数据时，必须配置单个抽取（“抽取并发数”参数配置为1），否则该参数无效。 每小时 单行提交次数 配置需要单次提交的大小。 10000 重试次数 单次请求失败重试次数，最大限制重试次数10次。 3 父主题： 配置作业目的端参数
单击“确定”。 查看脚本执行的结果 选择“数据开发 > 下载中心”进入“下载中心”页面。 可以查看本地下载任务和异步转储任务的文件名、操作人，操作时间，操作类型，任务状态，OBS路径。 对于转储任务下载失败的记录可以查看记录。 单击“操作”列的，可以从OBS路径下载数据。 单击“操作”列的，可以删除已下载和转储的记录。
管理并查看监控指标 支持的监控指标 设置实时处理集成作业告警规则 查看实时处理集成作业监控指标 父主题： 实时处理集成作业开发
查看历史节点并发数 在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。 选择“节点并发数”。 在历史节点并发数界面，选择历史时间段。 单击“确定”。 查看历史节点并发数的时间区间最大为24小时。 父主题： 数据开发
批处理作业：按调度计划定期处理批量数据，主要用于实时性要求低的场景。批作业是由一个或多个节点组成的流水线，以流水线作为一个整体被调度。被调度触发后，任务执行一段时间必须结束，即任务不能无限时间持续运行。 批处理作业可以配置作业级别的调度任务，即以作业为一整体进行调度，具体请参见配置作业调度任务（批处理作业）。 实时
表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID，获取方法请参见项目ID和账号ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 workspace 是 String 工作空间ID，获取方法请参见实例ID和工作空间ID。
描述 project_id 是 String 项目ID，获取方法请参见项目ID和账号ID。 id 是 String 脱敏策略id 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 workspace 是 String 工作空间ID，获取方法请参见实例ID和工作空间ID。
整库迁移，一个作业即可迁移几百张表。 增量数据迁移 支持文件增量迁移、关系型数据库增量迁移、HBase增量迁移，以及使用Where条件配合时间变量函数实现增量数据迁移。 事务模式迁移 支持当迁移作业执行失败时，将数据回滚到作业开始之前的状态，自动清理目的表中的数据。 字段转换 支
CDM依次将Task提交给运行池运行。根据集群配置管理中的“最大抽取并发数”参数，超出规格的Task排队等待运行。 如何调整抽取并发数 集群最大抽取并发数的设置与CDM集群规格有关，并发数上限建议配置为vCPU核数*2，如表1所示。 表1 集群最大抽取并发数配置建议 规格名称 vCPUs/内存 集群并发数上限参考
作业开发API 创建补数据实例 查询补数据实例 停止补数据实例 修改作业名称 查询发布包列表 查询指定发布包详情 设置作业标签 查询告警通知记录 发布任务包 撤销任务包 查询实例运行状态 查询任务完成情况 查询指定作业的实例列表 父主题： 数据开发API（V2）
各组件API的流量限制请参见API概览。 数据集成API的约束如下： CDM的作业数据量太多，会造成数据库压力，建议定时清理不需要的作业。 短时间内下发大量作业，可能会导致集群资源耗尽异常等，您调用API时需要注意。 CDM是批量离线迁移工具，不建议客户创建大量小作业场景。 其他组件
个文件，默认为|。 fromJobConfig.useQuery 否 Boolean 该参数设置为“true”时，上传到OBS的对象使用的对象名，为去掉query参数后的字符。 该参数设置为“false”时，上传到OBS的对象使用的对象名，包含query参数。 fromJobConfig
先导入阶段表，如果设置为“true”，数据导入目的表之前会把数据先导入阶段表，如果成功导入阶段表，则再从阶段表导入到目的表，这样避免导入过程失败，在目的表遗留部分成功数据。 toJobConfig.extendCharLength 否 Boolean 扩大字符字段长度，如果设置为“tru
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
