检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DataArts Studio实例赠送的CDM集群,由于规格限制,仅用于测试、试用等非正式业务场景。用于业务场景的CDM集群可以通过“批量数据迁移增量包”进行购买,且不建议同时作为数据连接Agent代理和运行数据迁移作业使用。 父主题: 创建并管理CDM集群
数据服务API接口,访问“测试APP”,填写了相关参数,但是后台报错要怎么处理? 使用API时,每个子域名每天可以访问多少次? 数据服务专享版集群正式商用后,如何继续使用公测期间创建的数据服务专享版集群和API? API传参是否支持传递操作符?
抽取并发数:设置同时执行的抽取任务数。CDM支持并发抽取MySQL数据,如果源表配置了索引,可调大抽取并发数提升迁移速率。
任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。 父主题: 节点参考
多并发抽取时,若确定分片字段不含Null,将该值设为“否”可提升性能,若不确定,请设为“是”,否则可能会丢数据。 是 父主题: 配置作业源端参数
测试运行作业 单击作业画布上方的“保存”按钮,保存完成编排的作业。 单击作业画布上方的“测试运行”按钮,测试作业运行情况。 test1运行成功,则对应的IF条件为true; test2运行成功,则对应的IF条件为true; test3运行失败,则对应的IF条件为false。
6000 40 测试创建数据连接 测试创建数据连接。 3000 20 查询单个数据连接信息 查询单个数据连接信息。 12000 60 更新数据连接信息 更新数据连接信息。 6000 40 删除数据连接 删除数据连接。
单击“测试运行”,执行该MRS Flink作业。 待测试完成,执行“提交”。 在“作业监控”界面,查看作业执行结果。 查看OBS桶中返回的记录(没设置返回可跳过)。 父主题: 使用教程
多并发抽取时,若确定分片字段不含Null,将该值设为“否”可提升性能,若不确定,请设为“是”,否则可能会丢数据。 是 父主题: 配置作业源端参数
例如:有10个文件,9个10M,1个200M,在并发任务数中指定“throttlingConfig.numExtractors”(抽取并发数)为“2”,则会分两个分片,一个处理9个10M的文件,一个处理1个200M的文件。
测试运行的作业是不发通知的,只有调度中的作业才会发SMN通知。 在“运维调度 > 通知管理”中查看此作业的通知配置开发是否为打开状态。 登录SMN页面,排查对应的SMN主题是否有被订阅。 排查对应SMN主题的订阅终端中是否有自己的终端名,还需确认订阅的状态是“已确认”。
例如:有10个文件,9个10M,1个200M,在并发任务数中指定“throttlingConfig.numExtractors”(抽取并发数)为“2”,则会分两个分片,一个处理9个10M的文件,一个处理1个200M的文件。
抽取并发数:可设置同时执行的抽取任务数。 是否写入脏数据:如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中,以便后面查看,可通过该参数配置,写入脏数据前需要先配置好OBS连接。 作业运行完是否删除:可选择是否自动删除作业。
cluster restartCluster 导入作业 cluster clusterImportJob 绑定弹性IP cluster bindEip 解绑弹性IP cluster unbindEip 创建连接 link createLink 修改连接 link modifyLink 测试连接
merge into loader线程数 每个loader内部启动的线程数,可以提升写入并发数。 说明: 不支持“约束冲突处理”策略为“replace into”或“on duplicate key update”的并发场景。 1 父主题: 配置CDM作业目的端参数
云搜索服务(CSS)连接参数说明 华为云的云搜索服务(CSS)是一个基于Elasticsearch且完全托管的在线分布式搜索服务,CSS连接适用于将各类日志文件、数据库记录迁移到CSS,Elasticsearch引擎进行搜索和分析的场景。
多并发抽取时,若确定分片字段不含Null,将该值设为“否”可提升性能,若不确定,请设为“是”,否则可能会丢数据。 是 父主题: 配置作业源端参数
作业测试无问题后,单击,保存作业配置。 更多案例 EL表达式在数据开发过程中被广泛应用,您可以参考最佳实践查看更多应用EL表达式的进阶实践。 父主题: EL表达式参考
在DataArts Studio管理中心模块,单击创建数据连接,数据连接类型选择“数据湖探索(DLI)”,输入数据连接名称,单击“测试”,提示连接成功,单击“确定”。 创建DWS数据连接。
从文件类抽取数据时,必须配置单个抽取(“抽取并发数”参数配置为1),否则该参数无效。 父主题: 目的端作业参数说明