检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
资源管理页面。 图3 新建网络连接 在“实时网络连接”页签中单击“新建”,在弹出的“新建网络连接”对话框输入对应参数,配置参数如下表所示: 表1 新建网络连接参数 参数 说明 连接名称 填写待创建的网络连接名称。 只能包含字母、数字和下划线。 资源组 需要和指定VPC进行网络打通的资源组。
在数据开发主界面的左侧导航栏,选择“运维调度 > 基线运维”。 选择“基线管理”页签。 单击“新建基线”,进入新建基线的界面。 配置基线任务的相关参数,如表1所示。 图1 创建基线 表1 配置基线参数 参数 说明 基线名称 输入基线名称。 责任人 选择基线责任人。 说明: 若要增加或者删除可选择的责任人,请前往DataArts
性能调优概述 作业任务参数调优 MySQL到MRS Hudi参数调优 MySQL到DWS参数调优 MySQL到DMS Kafka参数调优 DMS Kafka到OBS参数调优 Apache Kafka到MRS Kafka参数调优 SQLServer到MRS Hudi参数调优 PostgreSQL到DWS参数调优
(可选)排序配置:默认情况下,系统会根据排序参数信息给出默认排序情况,自定义排序默认为升序。如果需要修改排序情况,您可以修改pre_order_by参数。其中排序参数描述pre_order_by的值填写形式为“排序参数参数名:ASC”或“排序参数参数名:DESC”,其中ASC表示升序,D
Service,简称DES)是一种海量数据传输解决方案,支持TB到PB级数据上云,通过Teleport设备或硬盘(外置USB接口、SATA接口、SAS接口类型)向华为云传输大量数据,致力于解决海量数据传输网络成本高、传输时间长等难题。更多详情请参见数据快递服务。 各个数据迁移服务区别 表1 各个数据迁移服务区别
注意如果入参中包含Path和Query参数,则需要将调用地址中的{path}变量修改为Path参数具体取值,Query参数取值以“?Query参数名=Query参数值”的形式添加到调用地址的最后,如本例中为“?query=1”。 Headers:Headers参数无需填写,即使已定义Header参数,此处也要保持为空。
在“数据连接”页面,单击“创建数据连接”按钮。 图1 数据连接 在弹出窗口中,配置数据连接参数,完成配置后,单击“确定”完成数据连接的创建。参数配置如图2所示。 数据连接类型:数据仓库服务(DWS) 数据连接名称:dws_link 标签:可选参数。您可以输入新的标签名称,也可以在下拉列表中选择已有的标签。 适用组件:保持默认即可。
(可选)排序配置:默认情况下,系统会根据排序参数信息给出默认排序情况,自定义排序默认为升序。如果需要修改排序情况,您可以修改pre_order_by参数。其中排序参数描述pre_order_by的值填写形式为“排序参数参数名:ASC”或“排序参数参数名:DESC”,其中ASC表示升序,D
单击“集群”,在“概览”页签下,从右上方选择“更多 > 下载客户端”。 图2 下载客户端 弹出“下载集群客户端”提示框,选择相关下载参数后单击“确定”,下载客户端。 图3 下载集群客户端 选择客户端类型、平台类型(与执行任务的服务器保持一致),如果不修改保存路径,会自动下载客户端到MRS主节点对应路径下,在拷贝
“结尾保留长度”为“4”。 “替换字符”为“*”。 去前后空格 自动去字符串前后的空值,不需要配置参数。 字符串反转 自动反转字符串,例如将“ABC”转换为“CBA”,不需要配置参数。 字符串替换 替换字符串,需要用户配置被替换的对象,以及替换后的值。 表达式转换 使用JSP表达式语言(Expression
下载的流程模板参数如表3所示,其中名称前带“*”的参数为必填参数,名称前未带“*”的参数为可选参数。一个流程需要填写一条记录。 表3 流程导入参数说明 参数名 说明 上级流程 第一层的流程,其上级流程为空,不用填。 非第一层的流程,其上级流程不能为空。上级流程为多级流程时,流程之间以“/”分隔。例如“集成产品开发/开发生命周期”。
(可选)排序配置:默认情况下,系统会根据排序参数信息给出默认排序情况,自定义排序默认为升序。如果需要修改排序情况,您可以修改pre_order_by参数。其中排序参数描述pre_order_by的值填写形式为“排序参数参数名:ASC”或“排序参数参数名:DESC”,其中ASC表示升序,D
(可选)默认情况下,系统会根据排序参数信息给出默认排序情况,自定义排序默认为升序。如果需要修改排序情况,可以修改如下参数设置。其中排序参数描述pre_order_by的值填写形式为“排序参数参数名:ASC”或“排序参数参数名:DESC”,其中ASC表示升序,DESC表示降序,多个排序参数描述以“英文分号”进行分隔。
作业开发”。 选择CDM Job节点,并配置节点属性参数。 图1 配置CDM Job节点属性参数 选择CDM集群名称、关联已存在的CDM作业。 配置该作业的参数,引入作业参数名称maxtime,如下图所示。 图2 配置作业参数 保存并提交版本。子作业sub创建完成。 创建一个Pipeline作业
开发一个补数据的批处理作业。开发作业时,您需要配置节点属性参数和调度周期。 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 图2 节点参数 如果作业所关联的SQL脚本使用了参数,此处显示脚本参数名称(例如DATE),请在参数名称后的输入框配置参数值。参数值支持使用EL表达式,EL表达式用法可参考EL表达式。
解决方案 在MySQL数据连接高级属性中,连接属性新增如下参数之一即可,这样就可以在目的端正常建表。 “tinyInt1isBit”参数,参数值设为“false”。 “mysql.bool.type.transform”参数,参数值设为“false”。 图1 添加连接属性 父主题: 数据集成(CDM作业)
BC”格式。 对于每个参数,追加“URI编码的参数名称=URI编码的参数值”。如果没有参数值,则以空字符串代替,但不能省略“=”。 例如以下含有两个参数,其中第二个参数parm2的值为空。 parm1=value1&parm2= 按照字符代码以升序顺序对参数名进行排序。例如,以大
开发一个补数据的批处理作业。开发作业时,您需要配置节点属性参数和调度周期。 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 图2 节点参数 如果作业所关联的SQL脚本使用了参数,此处显示脚本参数名称(例如DATE),请在参数名称后的输入框配置参数值。参数值支持使用EL表达式,EL表达式用法可参考EL表达式。
新建空间权限集配置请参考表1,参数配置完成单击“确定”即可。 表1 新建空间权限集参数设置 参数名 参数设置 *权限集名称 标识权限集,实例下唯一。 建议名称中包含含义,避免无意义的描述,以便于快速识别所需权限集。 *管理员 选择管理员。当前权限集管理员支持最多选2个,且管理员类型必须同为用户或者用户组。
触发时间(天):选择每月的几号执行作业,该参数值取值范围是“1~31”,可配置多个值但不可重复,中间使用“,”分隔。 有效期:分为开始时间和结束时间。 开始时间:表示定时配置生效的时间。其中的时、分、秒也是每次自动执行的时间。 结束时间:该参数为可选参数,表示停止自动执行定时任务的时间。如果没有配置,则表示一直自动执行。