云服务器内容精选

  • 流程编排服务 随着全球市场的竞争日益激烈以及高科技的发展,企业需要不断地改进和优化自己的业务流程,以确保高质量的产品和服务,并在市场中保持竞争力。流程管理成为了企业中不可或缺的一部分。为此,流程引擎提供了“流程编排服务”,包含流程元模板、流程服务编排、流程日志管理等能力。 流程元模板 流程元模板是一类流程的模板,可通过页面或API的方式发起多个流程元模板对应的流程,由流程编辑、数据编辑和UI编辑页面组成。 流程服务编排 流程引擎提供可视化流程服务编排功能,支持HTTP、XDMAPI等服务类型,同时提供流程元模板全生命周期的服务编排管理,包括流程的编排、调试、发布和流程实例的运行等,为企业提供自定义流程服务编排一站式服务。 流程运行服务 简单地说,流程运行是企业在运营管理中实现端到端运作的整个过程。企业可以在流程运行阶段,结合实际业务场景对流程建模内容进行实际测试,记录并分析流程运转情况,以便于后续流程的优化和调整。 在流程引擎的流程运行服务中,应用的登录人员可以查看其名下的相关流程待办、流程申请、流程草稿、流程审批记录等信息,运行服务管理员可以随时监控当前应用的所有流程实例运转情况,对流程实例进行挂起、激活、转审等操作。
  • 流程引擎简介 随着企业规模的不断扩大、业务复杂性的持续增加,传统的业务流程管理方式已经无法满足高效、灵活和可控的要求。为了满足企业自动化、标准化和智能化管理业务流程的需求,工业数字模型驱动引擎-数据建模引擎(xDM Foundation,简称xDM-F)提供了流程引擎功能。 流程引擎是一种用于管理和执行业务流程的软件工具。您可以通过流程引擎的建模、编排、执行、监控等功能,将业务流程抽象成可执行的流程模板,并自动化执行流程,从而提高工作效率、降低成本、增强风险控制能力。 如需在基础版数据建模引擎中使用流程引擎,请前往iDME控制台开启。具体操作请参见配置流程引擎访问。
  • 步骤二:启动迁移Agent 如果目的端处于以下全程无公网迁移Region:华北-北京四、华东-上海一、华东-上海二、华南-广州,则需要参考以下步骤修改配置文件后才能成功启动迁移Agent。其余Region无需修改配置文件,输入目的端服务器所在华为云账号的AK、SK,以及目的端服务器所在区域的 SMS 域名,即可正常启动迁移Agent。 本节以无公网迁移Region华南-广州(cn-south-1)为目的端进行介绍,您在迁移时,需要将信息替换为实际的目的端Region信息。 在Agent启动界面,输入AK、SK、sms_domain信息,启动SMS-Agent。首次启动会失败,属于正常现象,因为此时云服务 域名 还没有替换成内网域名,需要通过启动SMS-Agent为cloud-region.json文件生成内容,用于后续的参数修改。 sms_domain信息必须使用目的端内网域名。各Region的内网域名请参见SMS内网域名列表。 进入SMS-Agent安装目录下的config目录,修改cloud-region.json文件中的mainRegion参数为目的端Region的区域代号,本节以华南-广州(cn-south-1)为例。 cloud-region.json文件包含所有区域的信息,查找到本次迁移的目的端区域详细信息(可通过region_name和desc参数查找),修改该区域的iam_domain和sms_domain参数,并保存。 iam_domain:iam.{区域代号}.myhuaweicloud.com sms_domain:sms.{区域代号}.myhuaweicloud.com 例如,目的端区域为华南-广州(cn-south-1),则iam_domain和sms_domain参数值修改为: iam_domain:iam.cn-south-1.myhuaweicloud.com sms_domain:sms.cn-south-1.myhuaweicloud.com 将config目录下的sms_domain.txt文件内容修改为:sms.ap-southeast-1.myhuaweicloud.com,并保存。 sms_domain.txt文件内容只能填写sms.ap-southeast-1.myhuaweicloud.com,无需根据区域进行替换。 重新启动SMS-Agent,当出现成功字样,代表SMS-Agent启动成功,即可前往SMS控制台,创建并启动迁移任务,具体步骤请参见设置迁移目的端,开始服务器复制并启动目的端。
  • 步骤一:配置Agent代理参数 Windows Py3版本 登录SMS控制台,在左侧导航树,单击“迁移Agent”,进入“迁移Agent”页面。 下载Windows Py3版本Agent,并上传至源端服务器,双击“SMS-Agent-Py3.exe”文件,安装SMS-Agent。安装完成后,进入SMS-Agent图形界面。 在SMS-Agent图形化界面,选择“使用代理”,并输入代理服务器IP、端口,以及代理软件的用户名、密码,代理软件如果没有用户名、密码则不填。 代理服务器IP:填写代理服务器IP地址,非目的端服务器地址。填写格式为:https://your-proxy-addr.com,其中your-proxy-addr.com需要更换为您代理服务器的地址,协议需要根据代理服务器的实际情况配置,建议您将代理服务器协议配置为https。 端口:填写代理服务器开放的代理端口,默认是3128。 代理用户名:填写代理软件用户名,没有则不填。 密码:填写代理用户名对应的密码,没有则不填。 Windows Py2版本 登录SMS控制台,在左侧导航树,单击“迁移Agent”,进入“迁移Agent”页面。 下载Windows Py2版本Agent,并上传至源端服务器,双击“SMS-Agent-Py2.exe”文件,安装SMS-Agent。安装完成后,进入SMS-Agent命令行界面。 进入SMS-Agent安装目录,如C:\SMS-Agent-Py2\config目录下,修改auth.cfg文件。 [proxy-config]enable = trueproxy_addr = https://your-proxy-addr.comproxy_port = 3128proxy_user =use_password = false enable:需要将false改为true。 proxy_addr:填写代理服务器IP地址,非目的端服务器地址。your-proxy-addr.com需要更换为您代理服务器的地址,协议需要根据代理服务器的实际情况配置,建议您将代理服务器协议配置为https。 proxy_port:填写代理服务器开放的代理端口,默认是3128。 proxy_user:填写代理软件用户名,没有则不填。 use_password:代理软件有密码的话, 设置为true,否则为false。 Linux版本 登录SMS控制台,在左侧导航树,单击“迁移Agent”,进入“迁移Agent”页面。 根据Linux服务器Agent安装区域的操作提示,下载迁移Agent,并上传至源端服务器。 在源端服务器执行如下命令,解压Agent软件包。 tar -zxvf SMS-Agent.tar.gz 执行如下命令,进入源端服务器的SMS-Agent目录。 cd SMS-Agent 执行如下命令,进入config目录。 cd SMS-Agent/agent/config 执行如下命令,打开并编辑auth.cfg文件。 vi auth.cfg [proxy-config]enable = trueproxy_addr = https://your-proxy-addr.comproxy_port = 3128proxy_user =use_password = false enable:需要将false改为true。 proxy_addr:填写代理服务器IP地址,非目的端服务器地址。your-proxy-addr.com需要更换为您代理服务器的地址,协议需要根据代理服务器的实际情况配置,建议您将代理服务器协议配置为https。 proxy_port:填写代理服务器开放的代理端口,默认是3128。 proxy_user:填写代理软件用户名,没有则不填。 use_password:代理软件有密码的话, 设置为true,否则为false。 执行如下命令,保存auth.cfg文件并退出。 :wq
  • 测试设计流程与实践 华为云CodeArts TestPlan的测试设计功能,覆盖了测试需求分析与计划、测试方案设计两个阶段,在这两个阶段: 测试经理基于产品层面的设计需求和规格,根据测试工程方法建立详细的、归一化的测试规格,作为测试任务分解分配的基础,回答我们要测试什么的问题; 制定总体测试策略和测试与验证计划,进行产品总体测试策略规划,并完成测试与验证计划的制定,回答如何安排测试、达到什么测试目标的问题。 表1 本流程阶段活动描述 关键活动 活动描述 活动输入 活动输出 测试需求分析 测试经理负责组织测试分析人员进行测试的需求分析,包括自动化测试需求分析。 产品包需求 设计需求 设计规格 产品测试规格 测试需求分析报告 产品总体测试策略制定 测试经理负责制定产品的总体测试策略,明确测试设计策略、SDV/SIT/SVT阶段的测试执行阶段策略。 产品研发策略 产品包验证主计划 迭代计划 产品总体测试策略 制定测试与验证计划 测试经理组织测试工程师依据产品测试工作陈述、产品包验证主计划、产品研发计划、总体测试策略并根据估计结果制定测试与验证计划。 产品包验证主计划 测试估计结果 产品业务计划及端到端计划(研发) 总体测试策略 测试与验证计划、端到端测试工作分解结构 特性测试需求分析 测试经理组织本小组成员根据测试设计策略对所分配的测试特性开展进一步分析活动。 分配为该特性的产品测试规格 总体测试策略 测试分析设计表 特性测试方案设计 依据特性测试需求分析结果,测试经理组织成员完成所分配特性的测试方案设计。 测试分析设计表 特性测试方案 SDV/SIT/SVT测试策略设计 测试经理负责组织测试团队共同制定SDV/SIT/SVT测试执行策略。 总体测试策略 各特性测试方案 SDV/SIT/SVT测试策略 父主题: IPD测试流程与实践
  • 更多操作 规则创建后,您还可以对规则进行以下操作。 表2 相关操作 操作名称 操作步骤 启用规则 在规则列表,单击待启用的规则所在行“启用状态”列的,当显示为时,表示启用成功。 禁用规则 在规则列表,单击待禁用的规则所在行“启用状态”列的,当显示为时,表示禁用成功。 规则禁用后将不可用。 编辑规则 在规则列表,单击待编辑规则所在行“操作”列的“编辑”。 删除规则 在规则列表,单击待删除规则所在行“操作”列的“删除”。
  • 配置自定义数据库脚本 用户可以使用自定义数据库的SQL脚本从Teradata迁移那些不直接存在于目标数据库的关键字。 迁移之前,这些脚本必须在每个目标数据库中执行一次。 打开发布包中的scripts文件夹,文件目录如表2所示。 SQL文件包含自定义迁移函数。 GaussDB (DWS)数据库需要通过这些函数支持Teradata的具体特性。 表2 DSC自定义数据库脚本 文件夹 脚本文件 描述 -- scripts - 文件夹:所有脚本 ------ teradata - 文件夹:Teradata函数和脚本 -------- view - 文件夹:配置视图的脚本 - vw_td_dbc_tables.sql 脚本:启动Teradata中DBC.TABLES的迁移 - vw_td_dbc_indices.sql 脚本:启动Teradata中DBC.INDI CES 的迁移 -------- function - 文件夹:配置Teradata系统函数的脚本 -X mig_fn_get_datatype_short_name.sql 脚本:启动Teradata中DBC.COLUMNS的迁移 - mig_fn_castasint.sql 脚本:启动CAST AS INTEGER的迁移 --------db_scripts - 文件夹:启动Teradata自定义函数的脚本 - mig_fn_get_datatype_short_name.sql 脚本:启动Teradata中DBC.COLUMNS的迁移 --------core - 文件夹:Teradata关键脚本 - teradatacore.pm 脚本:执行Perl迁移的脚本
  • 执行自定义数据库脚本 执行数据库自定义脚本是为了支持目标数据库某些版本中不存在的关键字。这些脚本在迁移之前需在目标数据库中执行一次。 DSC/scripts目录中的自定义脚本如表1所示。有关如何执行自定义脚本的详细信息,请参见配置自定义数据库脚本。 表1 自定义数据库脚本 自定义脚本 说明 mig_fn_get_datatype_short_name.sql Teradata函数的自定义数据库脚本 mig_fn_castasint.sql 用于迁移CAST AS INTEGER的自定义数据库脚本 vw_td_dbc_tables.sql 用于迁移DBC.TABLES的自定义数据库脚本 vw_td_dbc_indices.sql 用于迁移DBC.INDICES的自定义数据库脚本
  • 配置DSC和迁移属性 DSC配置涉及DSC/config目录中的配置文件,请根据表3配置对应的参数。 表3 DSC配置参数 迁移场景 配置文件 配置参数 Teradata SQL迁移 DSC:application.properties Teradata SQL配置:features-teradata.properties 1 2 3 4 5 6 7 8 91011 deleteToTruncate=True/FalsedistributeByHash=one/manyextendedGroupByClause=True/FalseinToExists=True/FalserowstoreToColumnstore=True/Falsesession_mode=Teradata/ANSItdMigrateDollar=True/FalsetdMigrateALIAS=True/FalsetdMigrateNULLIFZero=True/FalsetdMigrateZEROIFNULL=True/Falsevolatile=local temporary/unlogged Teradata Perl迁移 DSC:application.properties Teradata Perl配置:perl-migration.properties 12345678 add-timing-on=True/Falsedb-bteq-tag-name=bteqdb-tdsql-tag-name=sql_langlogging-level=error/warning/infomigrate-variables=True/Falseremove-intermediate-files=True/Falsetarget_files=overwrite/cancelmigrate-executequery=True/False MySQL SQL迁移 DSC:application.properties MySQL配置:features-mysql.properties 1 2 3 4 5 6 7 8 9101112131415 table.databaseAsSchema=truetable.defaultSchema=publictable.schema=table.orientation=ROWtable.type=HASHtable.partition-key.choose.strategy=partitionKeyChooserStrategytable.partition-key.name=table.compress.mode=NOCOMPRESStable.compress.level=0table.compress.row=NOtable.compress.column=LOWtable.database.template=template0table.index.rename=falsetable.database.onlyFullGroupBy=truetable.database.realAsFloat=false
  • OPS04-02 采用持续部署模型 当部署出问题时,通过使用持续部署模型来实现尽早发现问题,减少对最终用户的影响。 金丝雀部署是持续部署的常见模型,通过一小群内部或外部用户首先部署新功能,当新版本没有问题后,陆续部署到更大的组,直到所有用户群体都运行新版本。 另一种常见的部署模型是蓝绿部署,通过部署了两组相同的工作负载实例,分别处理完整的生产负载。第一个(蓝色)实例处理所有工作负载。第二个(绿色)实例已使用新功能进行更新并进行了内部测试。经过内部测试后,生产流量的子集从蓝色实例路由到绿色实例。与金丝雀部署一样,当您引流更多流量转移到绿色实例时,引流是渐进的。完成转出后,更新实例将变为蓝色实例,绿色实例已准备好进行下一次部署。这两个实例在逻辑上彼此分离,以防止发生故障。 风险等级 高 关键策略 选择这两种模型时,部署的每个阶段之间的时间应该足够长,以便能够监控工作负载的运行状况指标。应该提供充足的部署间隔时间(即部署组之间的时间),以确保来自不同区域的用户或执行不同任务的用户有时间使用工作负载。间隔时间应以小时和天而不是分钟来衡量。每个部署组的间隔时间也应该增加,以便考虑不同的时区和使用模式。 相关云服务和工具 CodeArts Deploy 父主题: OPS04 自动化构建和部署流程
  • COST01-04 指定云资源管理策略和相应的权限管理机制 风险等级 高 关键策略 由于成本优化是跨组织多个业务部门的事项,而云资源是云上成本的主要开销,故而应该制定策略,确定您的组织应该如何管理资源。如上文所说的,可以使用账号隔离不同组织/部门的资源,甚至于在同一个组织/部门内部,开发,测试,核心业务,非核心业务,也使用不同的账号和环境。 然而即使账号/环境是分散的,云资源管理策略和权限管理机制应该是集中的。 企业的中心团队,如上文所提的云业务办公室、云卓越中心或 FinOps 团队需要为各个账号环境实施与策略一致的组和角色,控制每个组中谁可以创建、修改或停用实例和资源。同时依据企业的业务环境,创建统一的资源/成本视图,统一管理企业的账单和成本。 相关服务和工具 客户可通过 统一身份认证 服务 IAM 的细粒度权限管理,精细化控制账号下用户的资源访问权限,实施最小授权。 对于多账号场景,客户可通过Organization的服务控制策略(Service Control Policy),集中控制每个账号可执行的操作。 父主题: COST01 规划成本优化相应的组织机构和流程
  • 检测对话流程 对话流程配置后,单击按钮可检测当前流程是否有错误。对话流程在训练发布前,一定要经过检测。 如果检测结果为黄色或红色,鼠标悬浮在检测按钮右侧的检测结果图标上,配置有问题的节点会高亮显示。 当检测结果图标是绿色,表示流程图检测通过。 当检测结果图标是黄色,表示流程图存在参数未设置、不存在或流程逻辑有问题的情况,可能导致流程不通畅。 当检测结果图标是红色,表示流程图部分节点关键信息未设置或不存在,将导致流程不通畅。 表1 错误信息表 错误类型 颜色 是否可以训练发布 错误原因 严重错误 红 不可以 信息收集节点,所配置槽位不存在。 条件判断节点,已连线分支,未设置详细条件。 条件判断节点,所选槽位不存在。 对话回复节点没有回复内容。 接口调用节点,配置模式,未填写接口地址。 接口调用节点,函数模式,未选择函数。 知识库回复,问题不存在。 知识库回复,答案不存在。 终结节点不是回复类型的节点。 信息收集节点,必填槽位的追问话术为空。 一般错误 黄 可以 有节点未连线(除开始节点外)。 信息收集节点,没有槽位设置(包括所选意图没有槽位;有槽位且全部删除)。 条件判断节点,同一分支的同一条件组内出现相同条件。 条件节点有剩余分支未连接。 对话回复节点,所插入的槽位或变量不存在。 没有错误 绿 可以 无 父主题: 配置对话流程(可选)
  • 数据湖 准备 在本示例中,选择 数据湖探索 DLI )服务作为数据底座。为确保 DataArts Studio 与DLI网络互通,在创建DLI队列时区域和企业项目应与DataArts Studio实例保持一致。 当前由于DLI的“default”队列默认Spark组件版本较低,可能会出现无法支持建表语句执行的报错,这种情况下建议您选择自建队列运行业务。如需“default”队列支持建表语句执行,可联系DLI服务客服或技术支持人员协助解决。 DLI的“default”队列为共享队列,仅用于用户体验,用户间可能会出现抢占资源的情况,不能保证每次都可以得到资源执行相关操作。当遇到执行时间较长或无法执行的情况,建议您在业务低峰期再次重试,或选择自建队列运行业务。 开通DLI服务后,您需要在管理中心创建DLI连接,然后通过数据开发组件新建数据库,再执行SQL来创建OBS外表。操作步骤如下: 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“管理中心”模块,进入管理中心页面。 在“数据连接”页面,单击“创建数据连接”按钮。 图1 数据连接 创建一个到DLI的连接,数据连接类型选择“数据湖探索(DLI)”,数据连接名称设置为“dli”。 完成设置后,单击“测试”,测试成功后单击“确定”,完成DLI数据连接的创建。 图2 创建数据连接 DLI连接创建完成后,跳转到数据开发页面。 图3 跳转到数据开发页面 参见图4,在DLI连接上右键单击,创建一个数据库用于存放数据表,数据库名称为“BI”。 图4 创建数据库 创建一个DLI SQL脚本,以通过DLI SQL语句来创建数据表。 图5 新建脚本 在新建脚本弹出的SQL编辑器中输入如下SQL语句,并单击“运行”来创建数据表。其中,user、product、comment、action为OBS外表,使用指定OBS路径中的 CS V文件来填充数据,用于存放原始数据;top_like_product和top_bad_comment_product为DLI表,用于存放分析结果。 create table user( user_id int, age int, gender int, rank int, register_time string) USING csv OPTIONS (path "obs://fast-demo/user_data");create table product( product_id int, a1 int, a2 int, a3 int, category int, brand int) USING csv OPTIONS (path "obs://fast-demo/product_data");create table comment( deadline string, product_id int, comment_num int, has_bad_comment int, bad_comment_rate float) USING csv OPTIONS (path "obs://fast-demo/comment_data");create table action( user_id int, product_id int, time string, model_id string, type string) USING csv OPTIONS (path "obs://fast-demo/action_data");create table top_like_product(brand int, like_count int);create table top_bad_comment_product(product_id int, comment_num int, bad_comment_rate float); 图6 创建数据表 关键参数说明: 数据连接:步骤4中创建的DLI数据连接。 数据库:步骤6中创建的数据库。 资源队列:可使用提供的默认资源队列“default”。 当前由于DLI的“default”队列默认Spark组件版本较低,可能会出现无法支持建表语句执行的报错,这种情况下建议您选择自建队列运行业务。如需“default”队列支持建表语句执行,可联系DLI服务客服或技术支持人员协助解决。 DLI的“default”队列为共享队列,仅用于用户体验,用户间可能会出现抢占资源的情况,不能保证每次都可以得到资源执行相关操作。当遇到执行时间较长或无法执行的情况,建议您在业务低峰期再次重试,或选择自建队列运行业务。 脚本运行成功后,可以通过如下脚本检查数据表是否创建成功。 SHOW TABLES; 确认数据表创建成功后,该脚本后续无需使用,可直接关闭。
  • 步骤4:服务退订 本开发场景中,DataArts Studio、OBS和DWS服务均会产生相关费用。在使用过程中,如果您额外进行了通知配置,可能还会产生以下相关服务的费用: SMN 服务:如果您在使用DataArts Studio各组件过程中开启了 消息通知 功能,则会产生消息通知服务费用,收费标准请参见SMN价格详情。 EIP服务:如果您为数据集成集群开通了公网IP,则会产生弹性公网IP服务费用,收费标准请参见EIP价格详情。 DEW服务:在数据集成或创建管理中心连接时,如果启用了KMS,则会产生密钥管理费用,收费标准请参见DEW价格详情。 在场景开发完成后,如果您不再使用DataArts Studio及相关服务,请及时进行退订和资源删除,避免持续产生费用。 表1 相关服务退订方式 服务 计费说明 退订方式 DataArts Studio DataArts Studio计费说明 DataArts Studio实例仅支持包周期计费。您可以根据需要参考云服务退订退订DataArts Studio包年包月套餐。 OBS OBS计费说明 OBS服务支持按需和包周期计费,套餐包暂不支持退订。本例中使用按需计费,完成后删除新建的存储桶即可;另外,DataArts Studio作业日志和DLI脏数据默认存储在以dlf-log-{Project id}命名的OBS桶中,在退订DataArts Studio后可以一并删除。 DWS DWS计费说明 DWS服务支持按需和包周期计费。本例中使用按需计费,完成后删除DWS集群即可。如果使用包周期计费,您需要参考云服务退订退订包年包月套餐,并删除DWS集群。 SMN SMN计费说明 SMN服务按实际用量付费,退订DataArts Studio服务后不会再产生通知,您也可以直接删除SMN服务已产生的主题和订阅。 EIP EIP计费说明 EIP服务支持按需和包周期计费,本例中使用按需计费,完成后删除EIP即可。如果使用包周期计费,您需要参考云服务退订退订包年包月套餐,并删除EIP。 DEW DEW计费说明 KMS密钥管理按密钥实例进行按需计费,您可以直接删除DEW服务已产生的KMS密钥。 父主题: 初级版:基于DWS的电影评分数据集成与开发流程
  • 新建表/文件迁移作业 在DataArts Studio数据集成控制台,进入“集群管理”页面,在集群列表中找到所需要的集群,单击“作业管理”。 在“作业管理”页面,单击“表/文件迁移”,再单击“新建作业”。 图8 表/文件迁移 按照如下步骤完成作业参数的配置。 如图9所示,配置作业名称、源端作业参数和目的端作业参数,然后单击“下一步”。 作业名称:source-sdi 源端作业配置 源连接名称:obs-link 桶名:fast-demo 源目录或文件:/2017_Yellow_Taxi_Trip_Data.csv 文件格式:CSV格式 显示高级属性:单击“显示高级属性”,在“高级属性”中,系统提供了默认值,请根据实际业务数据的格式设置各项参数。 在本示例中,根据准备数据源中的样例数据格式,需注意以下参数的设置,其他参数经过一一确认均保留默认值即可。 字段分隔符:默认值为逗号,本示例保留默认值即可。 前N行为标题行:设置为“是”,本示例首行是标题行。 标题行数:配置为1。 编码类型:默认值为UTF-8,本示例保留默认值即可。 目的端作业配置 目的连接名称:mrs-link。 数据库名称:demo_sdi_db。 表名:sdi_taxi_trip_data。 导入前清空数据:是。 在本示例中,目的端作业参数“导入前清空数据”配置为“是”,表示每次作业运行都会先清空数据再导入。在实际业务中,请视情况而定,需谨慎设置,以免造成数据丢失。 图9 作业配置 在字段映射中,请参考以下说明配置字段映射以及日期字段的时间格式,如图10所示,配置完成后,单击“下一步”。 字段映射:在本示例中,由于数据迁移的目标表字段顺序和原始数据的字段顺序是一样的,因此这里不需要调整字段映射的顺序。 如果目标表字段顺序和原始数据不一致,请一一将源字段指向含义相同的目的字段。请将鼠标移至某一个字段的箭头起点,当光标显示为“+”的形状时,按住鼠标,将箭头指向相同含义的目的字段,然后松开鼠标。 时间格式:样例数据中第2、第3个字段为时间字段,数据格式如“02/14/2017 04:08:11 PM”,因此此处设置这两个字段的时间格式为“MM/dd/yyyy hh:mm:ss a”,可以在输入框中手动输入该格式。 时间格式请根据实际的数据格式进行设置,例如: “yyyy/MM/dd HH:mm:ss”代表将时间转换为24小时制,例如2019/08/18 15:35:45。 “yyyy/MM/dd hh:mm:ss a”代表将时间转换为12小时制,例如2019/06/27 03:24:21 PM。 图10 字段映射 根据需要配置任务的重试和定时执行。 图11 任务配置 单击“显示高级属性”,可配置“抽取并发数”以及“是否写入脏数据”,如图12所示。 抽取并发数:您可以根据业务量进行配置。数据源端如果是文件类型,当有多个文件时,增大并发数可以提升抽取速率。 是否写入脏数据:建议配置为“是”,然后参考图12配置相关参数。脏数据是指与目的端字段不匹的数据,该数据可以被记录到指定的OBS桶中。用户配置脏数据归档后,正常数据可以写入目的端,迁移作业不会因脏数据中断。在本示例中,“OBS桶”配置为在准备数据源中的桶fast-demo,您需要前往OBS控制台,在fast-demo桶中单击“新建文件夹”创建一个目录,例如error-data,然后再将图12中的“脏数据目录”配置为该目录。 图12 任务高级属性 单击“保存”完成作业的创建。 返回“表/文件迁移”页面后,可在作业列表中查看到新建的作业。 图13 迁移作业运行结果