检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
作业编排完成后,单击,测试运行作业。 如果日志运行正常,单击右侧的“调度配置”,配置作业的调度策略。 图12 调度配置 说明: 2018/10/10至2018/11/09,每天2点执行一次作业。 最后我们需要保存作业并提交版本,执行调度作业(单击),实现作业每天自动运行。
指标应用场景 描述该指标重要的应用场景,包括在线报表、例行报告、汇报材料等。 备注 在指标描述之外还需要补充的信息,有助于正确理解和使用该指标。 度量对象 衡量该指标的度量字段,如果不涉及可以不填写。
DataArts Studio实例内的工作空间作为成员管理、角色和权限分配的基本单元,包含了完整的DataArts Studio功能,工作空间的划分通常按照分子公司(如集团、子公司、部门等)、业务领域(如采购、生产、销售等)或者实施环境(如开发、测试、生产等),没有特定的划分要求。
{ "total" : 1, "instances" : [ { "node_num" : 1, "flavor" : { "id" : "95d4e992-6e3c-11ea-8e90-fa163e35", "name" : "测试专用小规格
说明: 在非调度场景的DLI SQL脚本运行和DLI SQL单任务作业测试运行时,系统会默认开启以下四个配置参数: spark.sql.adaptive.enabled(启用AQE,使Spark能够根据正在处理的数据的特征动态优化查询的执行计划,可以通过减少需要处理的数据量来提高性能
数据服务专享集群增量包 数据服务定位于标准化的数据服务平台,提供一站式数据服务开发、测试部署能力,实现数据服务敏捷响应,降低数据获取难度,提升数据消费体验和效率,最终实现数据资产的变现。数据服务当前提供共享版与专享版两种服务方式,差异请参见共享版与专享版数据服务的对比。
{ "node_num" : 1, "flavor" : { "id" : "95d4e992-6e3c-11ea-8e90-fa163e35", "name" : "测试专用小规格(X86)", "disk" : 120, "cpu" :
创建主作业和子作业完成后,通过测试运行主作业“集成管理”,检查数据集成作业创建情况。运行成功后,创建并运行CDM子作业成功。 图11 查看作业创建情况 注意事项 由于CDM版本不同,某些属性可能不支持,比如fromJobConfig.BatchJob。
整库迁移支持的数据源类型 整库迁移适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或大数据服务中,适用于数据库离线迁移场景,不适用于在线实时迁移。 数据集成支持整库迁移的数据源如表2所示。
您也可以通过测试窗口,验证匹配规则是否符合预期。 通配符匹配适用于规则较多、结果表较多的情况。 全部:无需筛选或输入规则,直接选择当前数据库下的所有表作为任务目标表。 选择全部,适用于所选数据库下所有表的检索。
EMBEDDED 检查Hive JDBC连通性 是否需要测试Hive JDBC连通。 否 是否使用集群配置 您可以通过使用集群配置,简化Hadoop连接参数配置。 否 集群配置名 仅当“是否使用集群配置”为“是”时,此参数有效。此参数用于选择用户已经创建好的集群配置。
EMBEDDED 检查Hive JDBC连通性 是否需要测试Hive JDBC连通。 否 是否使用集群配置 您可以通过使用集群配置,简化Hadoop连接参数配置。 否 集群配置名 仅当“是否使用集群配置”为“是”时,此参数有效。此参数用于选择用户已经创建好的集群配置。
整库迁移支持的数据源类型 整库迁移适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或大数据服务中,适用于数据库离线迁移场景,不适用于在线实时迁移。 数据集成支持整库迁移的数据源如表2所示。
检查streamLoad连通性 否 测试Doris streamLoad连通性,当使用场景通过streamLoad方式写数据的时候时,需要保证该连通正常。 创建MRS安全集群的kerberos认证用户 如果要创建MRS安全集群的数据连接,不能使用admin用户。
整库迁移支持的数据源类型 整库迁移适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或大数据服务中,适用于数据库离线迁移场景,不适用于在线实时迁移。 数据集成支持整库迁移的数据源如表2所示。
EMBEDDED 检查Hive JDBC连通性 是否需要测试Hive JDBC连通。 否 是否使用集群配置 您可以通过使用集群配置,简化Hadoop连接参数配置。 否 集群配置名 仅当“是否使用集群配置”为“是”时,此参数有效。此参数用于选择用户已经创建好的集群配置。
适合PoC验证和开发测试。 fb8fe666-6734-4b11-bc6c-43d11db3c745:表示cdm.medium规格,4核CPU、8G内存的虚拟机适合单张表规模<1000万条的场景。
18:36+08:00", "db_name" : null, "dw_type" : "DWS", "queue_name" : null, "schema" : null, "l1" : "我的测试
{ "data" : { "value" : { "id" : "1170056628536553472", "name_en" : "com_compound_metric_test", "name_ch" : "复合指标测试",
EMBEDDED 检查Hive JDBC连通性 是否需要测试Hive JDBC连通。 否 是否使用集群配置 您可以通过使用集群配置,简化Hadoop连接参数配置。 否 集群配置名 仅当“是否使用集群配置”为“是”时,此参数有效。此参数用于选择用户已经创建好的集群配置。