检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
架构、数据质量、数据目录等）暂不支持包含中文和“.”字符的库表名。 DataArts Studio实例赠送的CDM集群，由于本身规格有限，推荐仅作为DataArts Studio管理中心数据连接的Agent代理使用。 建议为管理中心数据连接的Agent和CDM迁移作业规划相互独立
若关联的SQL脚本，脚本参数发生变化，可单击刷新按钮同步。 脏数据表 否 SQL脚本中定义的脏数据表名称。 脏数据属性用户不能编辑，自动从SQL脚本内容中关联推荐。 DWS脏数据表的语法：with table_name或log into table_name 匹配规则 - 设置java正则表达式，匹配DWS
值被重新定义。数据湖能给企业带来多种能力，例如实现数据的集中式管理，帮助企业构建更多优化后的运营模型，也能为企业提供其他能力，如预测分析、推荐模型等，这些模型能刺激企业能力的后续增长。 对于数据仓库与数据湖的不同之处，可以类比为仓库和湖泊的区别：仓库存储着来自特定来源的货物；而湖
用户可以对已选择的作业名称进行删除并重新添加。 说明： 选择作业名称时，建议选择业务流程最下游的节点任务，选择后，影响该节点数据产出的上游节点都将被纳入基线监控范围，不推荐将业务流程上所有的任务都添加到基线上。 优先级 设置基线的优先级，支持以下优先级： 1 2 3 4 5 说明： 定义基线的优先级，数值越大
CDM集群的规格，按待迁移的数据量选择，一般选择cdm.medium即可，满足大部分迁移场景。 CDM集群的VPC必须和云搜索服务集群所在VPC一致，且推荐子网、安全组也与云搜索服务一致。 如果安全控制原因不能使用相同子网和安全组，那么需要确保安全组规则能允许CDM访问云搜索服务集群。 创建云搜索服务连接
CDM集群的规格，按待迁移的数据量选择，一般选择cdm.medium即可，满足大部分迁移场景。 CDM集群的VPC必须和云搜索服务集群所在VPC一致，且推荐子网、安全组也与云搜索服务一致。 如果安全控制原因不能使用相同子网和安全组，那么需要确保安全组规则能允许CDM访问云搜索服务集群。 CDM
开描述。 至此，基于电影评分的数据集成与开发流程示例完成。此外，您还可以根据原始数据，分析不同类型电影的评分、浏览情况等，为营销决策、广告推荐、用户行为预测等提供高质量的信息。 父主题： 初级版：基于DWS的电影评分数据集成与开发流程
单个分片的最大错误记录数 当“是否写入脏数据”为“是”才显示该参数。 单个map的错误记录超过设置的最大错误记录数则任务自动结束，已经导入的数据不支持回退。推荐使用临时表作为导入的目标表，待导入成功后再改名或合并到最终数据表。 0 单击“保存”，或者“保存并运行”。 作业任务启动后，每个待迁移的表
获取当前目录下的API列表 获取当前目录下的API列表。 2400 120 获取当前目录下的目录列表（全量） 获取当前目录下的目录列表（全量数据，不分页，推荐仅用于生成目录树等无法分页的场景）。 2400 120 更新服务目录 更新服务目录。 2400 120 查询服务目录 查询服务目录。 2400
设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将会再次重试。 失败重试 如果作业执行失败，可选择自动重试三次或者不重试。推荐值：不重试。 建议仅对文件类作业或启用了导入阶段表的数据库作业配置自动重试，避免自动重试重复写入数据导致数据不一致。 说明： 如果通过DataArts
如果通过DataArts Studio数据开发调度CDM迁移作业，此处也配置了定时任务，则两种调度均会生效。为了业务运行逻辑统一和避免调度冲突，推荐您启用数据开发调度即可，无需配置CDM定时任务。 否 抽取并发数 当前任务从源端进行读取最大线程数。 说明： 由于数据源限制，实际执行时并
CDM集群的规格，按待迁移的数据量选择，一般选择cdm.medium即可，满足大部分迁移场景。 CDM集群的VPC，选择和RDS的MySQL数据库实例所在的VPC一致，且推荐子网、安全组也与RDS上的MySQL一致。 如果安全控制原因不能使用相同子网和安全组，则可以修改安全组规则，允许CDM访问RDS。 CDM
至此，基于电商BI报表的数据开发流程示例完成。此外，您还可以根据原始BI报表数据，分析用户的年龄分布、性别比例、商品评价情况、购买情况、浏览情况等，为营销决策、广告推荐、信用评级、品牌监控、用户行为预测等提供高质量的信息。 父主题： 免费版：基于DLI的电商BI报表数据开发流程
配置权限集 权限集将用户与权限直接关联，可以新建多个用于给不同使用场景的用户关联不同的权限，可通过权限同步进行权限管控（实际使用时，更推荐通过权限集关联角色进行权限管控）。 配置通用角色 配置通用角色即在数据源上创建新角色，用于承载用户和权限之间的关联关系，可以更加直观地管理权限关系、进行权限管控。
示例场景说明 本实践通过DataArts Studio服务的数据集成CDM组件、数据开发DLF组件和数据仓库服务（DWS）对电影评分原始数据进行分析，输出评分最高和最活跃Top10电影。您可以学习到数据集成模块的数据迁移和数据开发模块的脚本开发、作业开发、作业调度等功能，以及DWS
DLI程序包：作业执行前，会将资源包文件上传到DLI资源管理。 OBS路径：作业执行时，不会上传资源包文件到DLI资源管理，文件的OBS路径会作为启动作业消息体的一部分，推荐使用该方式。 分组设置 否 当“资源类型”选择“DLI程序包”时，才需要配置该参数。 将Spark程序资源包上传到指定的分组中，主Jar包和依赖包会上传到同一个分组中。
见如何配置对等连接章节。 注：如果配置了VPC对等连接，可能会出现对端VPC子网与CDM管理网重叠，从而无法访问对端VPC中数据源的情况。推荐使用公网做跨VPC数据迁移，或联系管理员在CDM后台为VPC对等连接添加特定路由。 当CDM集群与其他云服务所在的区域不一致时，则需要通过
开发一个DLI Spark作业 在本章节您可以学习到数据开发模块资源管理、作业编辑等功能。 场景说明 用户在使用DLI服务时，大部分时间会使用SQL对数据进行分析处理，有时候处理的逻辑特别复杂，无法通过SQL处理，那么可以通过Spark作业进行分析处理。本章节通过一个例子演示如何
支持OBS路径和DLI程序包两种类型的资源。 OBS路径：作业执行时，不会上传资源包文件到DLI资源管理，文件的OBS路径会作为启动作业消息体的一部分，推荐使用该方式。 DLI程序包：作业执行前，会将资源包文件上传到DLI资源管理。 分组设置 否 当“资源类型”选择了“DLI程序包”时，需要设
离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性，请联系客服或技术支持人员。 基础与网络连通配置 连接方式 是 选择所需的连接方式，推荐使用“通过代理连接”。 通过代理连接：通过Agent（即CDM集群）进行代理，以MRS集群的用户名和密码访问MRS集群。代理连接方式支持MRS所有版本的集群。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
