检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
、内网地址、公网地址等信息。 单击CDM集群列表中集群名称列的按钮开，可查看该CDM集群的详情信息，例如可用区、虚拟私有云、子网和安全组等网络相关信息，以及规格、集群ID、关联的工作空间等信息。 图1 查看集群详情信息 您可以单击CDM集群列表中操作列的“关联工作空间”，在弹窗中
认即可。 单击“保存并运行”，进入作业管理界面，查看作业执行进度和结果。 作业执行成功之后，单击作业后面的“历史记录”查看作业的写入行数、读取行数、写入字节、写入文件数和执行日志。 父主题： 使用CDM上传数据到OBS
4表示大于50条评论 has_bad_comment int 是否有差评 0表示无，1表示有 bad_comment_rate float 差评率 差评数占总评论数的比重 action_data.csv： user_id,product_id,time,model_id,type 100001,200001
启动作业、按分组导出作业等操作。 是否定时执行：如果需要配置作业定时自动执行可开启。这里保持默认值“否”。 抽取并发数：设置同时执行的抽取任务数，适当的抽取并发数可以提升迁移效率，配置原则请参见性能调优。这里保持默认值“1”。 是否写入脏数据：如果需要将作业执行过程中处理失败的数
可选参数，连接引用表名或列名时的分隔符号，参考对应数据库的产品文档进行配置。 ` 单次写入行数 指定单次批量写入的行数，当写入行数累计到单次批量提交行数时提交一次，该值应当小于单次提交行数。 100 父主题： 配置连接参数
的列表信息，输入内容支持模糊搜索。 5 SQL并发数配置 单击SQL框，进入“单连接SQL并发数配置”页面，配置SQL并发数。输入值必须在10到1000之间。单击“确定”，完成配置。 说明： 并发数是指单个数据连接下的SQL并发数，如果超出则等待排队执行。 表2 规则实例列表说明
useCompression=true 引用符号 连接引用表名或列名时的分隔符号。默认为空。 ' 单次写入行数 指定单次批量写入的行数，当写入行数累计到单次批量提交行数时提交一次，该值应当小于单次提交行数。 100 单击“保存”回到连接管理界面，完成MySQL连接器的配置。 如果保存时出错，一般
可变长度的字符串是以长度为1到255之间字符数（高版本的MySQL超过255）; 例如： VARCHAR（25）. 创建VARCHAR类型字段时，必须定义长度。 ‘a’或‘aaaaa’ VARCHAR VARCHAR 数值 DECIMAL（M，D） 非压缩浮点数不能是无符号的。在解包小数，每个小数对应于一个字节。
GBASE为GBASE8A时显示该参数。 - 单次请求行数 可选参数，单击“显示高级属性”后显示。 指定每次请求获取的行数，根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。 10000 单次提交行数 可选参数，单击“显示高级属性”后显示。 指定每次批量提交的行数，根据数据目的端和作
当源端数据为OBS类型时，支持的目的端数据类型为DLI、DWS。 须知： DLI到DWS端的数据转换： 因为数据开发模块调用DWS的集群时，需要走网络代理。所以导入数据到DWS时，需要提前先在数据开发模块中创建DWS的数据连接。 DLI导入数据到DWS时，DWS的表需要先创建好。 DLI
数据服务SDK概述 本文档指导API调用者通过数据服务SDK代码调用数据API，当前数据服务SDK代码仅支持调用API场景。 数据服务SDK介绍 数据服务SDK是基于DataArts Studio数据服务创建的数据API封装的SDK包。通过调用此SDK包提供的代码样例，即可进行数
组件创建集成作业时支持选择本数据连接。 离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性，请联系客服或技术支持人员。 基础与网络连通配置 是否使用集群配置 是 此参数用于选择用户已经创建好的集群配置。 您可以通过使用集群配置，简化Hadoop连接参数配置。 URI 是
后的作业可以按组显示、按组批量删除作业、按组批量启动作业、按组导出等。 是否定时执行：可选择作业是否定时自动启动。 抽取并发数：可设置同时执行的抽取任务数。 是否写入脏数据：如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中，以便后面查看，可通过该参数配置，写入脏数据前需要先配置好OBS连接。
任务组的名称。任务组名称不能重名。 最大并发数 当前任务组作业节点最大并发数。 最大节点并发数即为当前DataArts Studio实例的并发数。 当前DataArts Studio实例的节点并发数上限为1000，请不要超过该上限。 最大并发数与DataArts Studio实例规格
群才能更新生效。 单作业的抽取并发数取值范围为1-300，集群的总抽取并发数取值范围为1-1000。其中集群最大抽取并发数的设置与CDM集群规格有关，并发数上限建议配置为vCPU核数*2，作业的抽取并发数建议不超过集群的总抽取并发数，过高的并发数可能导致内存溢出，请谨慎修改。 关
调用地址：专享版支持内网地址和外网地址（外网地址需要您在创建集群时绑定弹性IP），如果需要在本地调用专享版API，需要使用外网地址，确保网络互通。共享版使用APIG地址，可直接选择该地址进行调用。 入参：本调用样例中创建了一个具备各类入参位置的API，以便为您介绍各类入参应如何在调用时输入。
单次请求行数 可选参数，单击“显示高级属性”后显示。 指定每次请求获取的行数，根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。 Oracle到DWS迁移时，可能出现目的端写太久导致迁移超时的情况。此时请减少Oracle源端“单次请求行数”参数值的设置。
SDK概述 DataArts Studio服务软件开发工具包（DataArts Studio SDK，DataArts Studio Service Software Development Kit），目前提供了REST API SDK包和数据服务SDK包两种开发包，功能和差异如
在线进行压缩，仅对MOR表生效。 是 Hudi表清除策略（保留提交数） 清除时保留的提交数。 1 Hudi表归档策略（最小保留提交数） 归档时保留的最小提交数。 1 Hudi表归档策略（最大保留提交数） 归档时保留的最大提交数。 100 Hudi表配置 对Hudi建表设置自定义参数属性
动。 - 单次请求行数 可选参数，单击“显示高级属性”后显示。 指定每次请求获取的行数，根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。 1000 单次提交行数 可选参数，单击“显示高级属性”后显示。 指定每次批量提交的行数，根据数据目的端和作
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
