检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
作业,设置Migration启动位点时可以比安全位点时间更早一点(建议30min左右),避免丢数。 例如,查询到的DRS安全位点时间戳为2024-11-29 12:00:00,启动Migration作业时可以将位点配置为2024-11-29 11:30:00。 图5 设置Migration启动位点
M-dd格式的时间。 配置补数据作业的调度周期。单击界面右侧的调度配置,配置补数据作业的调度周期,该使用指导配置周期设置为天。 图3 配置调度周期 作业调度周期设置为天,每天会进行作业调度,并生成一个调度实例。您可以在“实例监控”页面中,查看补数据实例的运行状态。用户可以在该页面
"system_template" : false, "create_time" : 1661412950486, "creator" : "ei", "result_description" : "row : ${1}" } SDK代码示例 SDK代码示例如下。 Java Python
MAX(单分区数据量大小(G)/2G*2,再后向上取整,1)。 其中,要注意的是: 需要使用的是表的总数据大小,而不是压缩以后的文件大小。 桶的设置以偶数最佳,非分区表最小桶数请设置4个,分区表最小桶数请设置1个。 changelog.enabled boolean false - Hudi changelog功能
自定义分页的脚本/MyBatis方式API是在创建API时将分页逻辑写到取数SQL中,因此不支持在调用时修改分页设置。 (可选)默认情况下,系统会根据排序参数信息给出默认排序情况,自定义排序默认为升序。如果需要修改排序情况,可以修改如下参数设置。其中排序参数描述pre_order_by的值填写形式为“排序参数参数名:
如果指定了该参数,程序在抽取数据时将读取第一行作为标题行。 否 编码类型 文件格式为CSV格式或JSON格式时支持此参数。 文件编码类型。 只有文本文件可以设置编码类型,否则设置无效。 支持的文件编码类型有UTF-8 、 GBK。 UTF-8 压缩格式 压缩格式。 默认无。支持的压缩格式有GZIP,ZIP及TAR
新建解决方案 编辑解决方案 导出解决方案 导入解决方案 升级解决方案 删除解决方案 新建解决方案 在数据开发模块的开发页面,新建一个解决方案,设置解决方案名称并选择业务相关的作业。 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts
"create_time" : 1661413275050, "last_run_time" : null, "creator" : "ei" } ] } SDK代码示例 SDK代码示例如下。 Java Python Go 更多 1 2 3 4 5 6 7 8
"ranger_0324_noauth", "create_time" : 1711424611000, "create_user" : "ei_dayu_xxxx_01", "description" : "", "id" : "0412bf3bf03f42689c6a02d93ff8f306"
API创建数据迁移作业? 如何将云下内网或第三方云上的私网与CDM连通? CDM是否支持参数或者变量? CDM迁移作业的抽取并发数应该如何设置? CDM是否支持动态数据实时迁移功能? CDM是否支持集群关机功能? 如何使用表达式方式获取当前时间? 日志提示解析日期格式失败时怎么处理?
构造请求 本节介绍REST API请求的组成,并以调用IAM服务的管理员创建IAM用户接口为例说明如何调用API。该API用于管理员创建IAM用户。 您还可以通过这个视频教程了解如何构造请求调用API:https://bbs.huaweicloud.com/videos/102987
1661413102000, "last_run_time" : 1661413281000, "creator" : "ei" } ] } SDK代码示例 SDK代码示例如下。 Java Python Go 更多 1 2 3 4 5 6 7 8
"system_template" : false, "create_time" : 1661412950486, "creator" : "ei", "result_description" : "row : ${1}" }, { "id" : 1, "name"
监听间隔,可设置为1-60之间,单位为分钟。 超时时间,可设置为1-1440之间,单位为分钟。 偏移量 偏移量的单位为天。 输入偏移量的值。输入值必须在-366到366之间。默认为1。 当工作空间模式为业务日期模式时,偏移量设置为1时,则表示处理的是昨天的业务数据,偏移量设置为-1时
只支持英文字母、数字、“-”、“_”,最大长度为64字符,且参数名称不允许重名。 参数名称需根据脚本变量定义中设置的格式来命名。例如,脚本变量定义中设置的格式为${dlf.},参数名称需要设置为dlf.xxx。 参数值 是 参数值当前支持常量和EL表达式,不支持系统函数。例如支持123,ab
Elasticsearch分页查询,用来设置分页size的大小。 1000 ScrollId超时时间配置 Elasticsearch scroll查询时会记录一个scroll_id,超时或者scroll查询结束后会清除请求的srcoll_id,通过设置这个超时时间配置,来指定scroll_id超时时间。
单击,在弹出的对话框中配置转储任务的参数(参数说明请见《数据接入服务用户指南》的管理转储任务)。 表2 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。 失败重试 是 节点执行失败后,是否重新执行节点。 是:重新执行节点,请配置以下参数。
获取下载的tar包,此即为FusionInsight集群Keytab文件。 针对MRS 2.x及之前版本集群: 登录MRS服务的Manager,单击“系统设置”。在“权限配置”区域,单击“用户管理”。 在需导出keytab文件用户所在的行,选择“更多 > 下载认证凭据”下载认证文件,待文件自动生成后指定保存位置,并妥善保管该文件。
Studio服务进入数据集成界面可以看到。 单击集群名称后,选择“标签”页签。 图2 修改集群配置 单击“添加/编辑标签”,通过添加、修改标签为CDM集群设置资源标识。 图3 添加标签 一个集群最多可添加10个标签。 标签键(key)的最大长度为36个字符,标签值(value)的最大长度为43个字符。
图1 新建作业 进入到作业开发页面,拖动“MRS Flink”节点到画布中并单击,配置节点的属性。 图2 配置MRS Flink节点属性 参数设置说明: --Flink作业名称 wordcount --MRS集群名称 选择一个MRS集群 --运行程序参数 -c org.apache