检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
周期调度依赖原理的理解有误导致的。 如下图,月周期的作业依赖天周期的作业。为什么在天周期的作业还未跑完,月周期的作业已经开始运行? 图1 查看作业调度周期及依赖属性 解决方案 事实上,月周期的作业依赖天周期作业指的是当月的月周期作业是否运行取决于上月的天周期作业是否全部运行完成,而不是由当月的天周期作业决定。
9 CertUtil: -hashfile 命令成功完成。 对比所下载SDK包的SHA256值和下表中对应语言SDK包的SHA256值。如果一致,则表示下载过程不存在篡改和丢包。 表1 SDK包及对应的SHA256值 不同语言SDK包 SHA256值 Java 77e033cfb
9 CertUtil: -hashfile 命令成功完成。 对比所下载SDK包的SHA256值和下表中对应语言SDK包的SHA256值。如果一致,则表示下载过程不存在篡改和丢包。 表1 SDK包及对应的SHA256值 不同语言SDK包 SHA256值 Java 77e033cfb
9 CertUtil: -hashfile 命令成功完成。 对比所下载SDK包的SHA256值和下表中对应语言SDK包的SHA256值。如果一致,则表示下载过程不存在篡改和丢包。 表1 SDK包及对应的SHA256值 不同语言SDK包 SHA256值 Java 77e033cfb
同步场景:包含单表、整库、分库分表场景,各数据源支持的场景不一,详情请参见使用教程。 不同场景介绍如表1所示。 表1 同步场景参数说明 场景类型 说明 单表 支持将源端一个实例下的单张表实时同步至目的端一个实例下的单张表。 整库 支持将源端一个实例下多个库的多张表批量实时同步到目
#reload(sys) #sys.setdefaultencoding('utf8') 重启python,通过sys.getdefaultencoding()查看默认编码,这时为'utf8'。 父主题: 数据开发
配置MongoDB源端参数 表1 MongoDB作为源端时的作业参数 参数类型 参数名 说明 是否必须填 取值样例 基本参数 数据库 输入或选择数据库名称,单击输入框后面的按钮可进入集合的选择界面。 是 default 集合名 输入或选择集合名,单击输入框后面的按钮可进入集合的选择界面。
fromJobConfig.type 是 String 抽取数据的类型,类似关系数据库中的表名。 fromJobConfig.columnList 否 String 需要抽取的字段列表,字段名之间使用“&”分隔,例如:“id&gid&name”。 fromJobConfig.splitNestedField
勾选需要配置失败重试的作业,单击 > 作业配置,进入作业配置窗口。 对于CDM Job作业,建议仅选择文件类的CDM Job作业或启用了导入阶段表的数据类CDM Job作业。未启用导入阶段表的数据类CDM Job作业可能因作业失败重试引起数据重复写入,导致迁移前后的数据不一致。 图2 作业配置菜单 在作业配置窗口中,配置失败重试策略。
维度表 DIMENSION_TABLE_ATTRIBUTE: 维度属性 DIRECTORY: 目录 FACT_ATTRIBUTE: 事实表属性 FACT_DIMENSION: 事实表维度 FACT_LOGIC_TABLE: 事实表 FACT_MEASURE: 事实表度量 FUNCTION:
进行日常管理工作。 用户 由账号在IAM中创建的用户,是云服务的使用人员,具有身份凭证(密码和访问密钥)。 在项目ID和账号ID下,您可以查看账号ID和用户ID。通常在调用API的鉴权过程中,您需要用到账号、用户和密码等信息。 项目 区域默认对应一个项目,这个项目由系统预置,用来
9 CertUtil: -hashfile 命令成功完成。 对比所下载SDK包的SHA256值和下表中对应语言SDK包的SHA256值。如果一致,则表示下载过程不存在篡改和丢包。 表1 SDK包及对应的SHA256值 不同语言SDK包 SHA256值 Java 77e033cfb
获取实例列表 功能介绍 获取实例列表。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/instances 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 表2 Query参数
安全运营人员)对数据安全和数据治理的诉求。 图1 DataArts Studio数据安全框架 资源主体:即华为云数据湖中的库表字段及计算引擎队列资源。库表字段支持大数据MRS Hive/Spark,云数据仓库DWS,数据湖探索DLI等数据湖,计算引擎队列包含大数据MRS YARN计算队列和数据湖探索计算队列。
Studio工作空间角色决定了其在工作空间内的权限,当前有管理员、开发者、部署者、运维者和访客这几种预置角色可被分配,角色的权限说明请参见权限列表章节。 如果预置角色可以满足您的使用需求,则您可以跳过本章节;否则,请您按照本章节描述创建自定义角色。 背景信息 DAYU Administrator或Tenant
数据库名称。获取方法请参见获取数据源中的表。 table_id 否 String 数据表id,获取方法请参见获取数据源中的表。 table_name 是 String 数据表名称, 获取方法请参见获取数据源中的表。 user_groups 否 String 用户组列表,用户组名称逗号分隔(非必
数据库名称。获取方法请参见获取数据源中的表。 table_id 否 String 数据表id,获取方法请参见获取数据源中的表。 table_name 是 String 数据表名称, 获取方法请参见获取数据源中的表。 user_groups 否 String 用户组列表,用户组名称逗号分隔(非必
地址,获取到导出的zip文件。 图3 选择并导出作业 在弹出的“导出作业”界面,选择需要导出的作业范围和状态,单击“确定”,可以在下载中心查看导入结果。 图4 导出作业 导出环境变量 单击左侧导航上的“配置”,进入环境变量页面。 单击环境变量配置下的“导出”,导出环境变量。 图5
实例提交时间,13位时间戳,可通过查询作业实例列表接口获取。 表5 jobs 参数 是否必选 参数类型 描述 job_name 是 String 重跑的作业名称。 workspace_id 是 String 工作空间id 响应参数 状态码: 400 表6 响应Body参数 参数 参数类型
补数据作业失败时是否停止,true表示停止,false表示不停止。 reverse_order 否 int 是否按照日期倒序补数据,取值范围[0,1],0表示正序补数据,1表示倒序补数据。 force 否 String 是否强制补数据,true表示强制补数据,同一个作业出现在2个