检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OBS连接的参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 obs_link OBS终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。您可以通过以下方式获取OBS桶的Endpoint信息:
单击“选择模板”,选择已创建好的脚本模板,系统支持可以引用多个模板。创建模板的详细操作请参见配置模板。 MRS Flink作业的运行程序参数,请参见《MapReduce用户指南》中的运行Flink作业。 Flink作业执行参数 否 配置Flink作业执行参数。 Flink程序执行的关键参数,该参
保存API工作量,然后调试并发布到集群。则后续调用者就可以通过调用API工作流中的入口API,实现普通API取数结果保存在EXCEL文件中。 开发API工作流2:数据请求依赖多个数据API 在电子商务平台的场景中,某部门需要根据用户所在地区的不同,提供不同的信息和服务:如果用户位于area1地区,系统将提供供应商信息Supplier
实例超时是否忽略等待时间修改此策略。 如果未选上,表示实例运行时等待时间会被计入超时时间。 自定义字段 配置自定义字段的参数名称和参数值。 作业标签 配置作业的标签,用以分类管理作业。 单击“新增”,可给作业重新添加一个标签。也可选择管理作业标签中已配置的标签。 配置作业参数 单击编辑器右侧的“参数”,展开配置页面,配置如表4所示的参数。
用。如需使用该特性,请联系客服或技术支持人员。 基础与网络连通配置 主机名或IP 是 服务器的IP地址或者主机名。 例如:sftp.apache.org或192.168.0.1。 端口 是 主机的SSH端口号。 数据传输超时时间 是 数据传输过程中连接服务器超时时间,单位毫秒。 默认值为:600000。
挂起当前作业执行计划:当前作业实例的状态为运行异常,该节点的后续节点以及依赖于当前作业的后续作业实例都会处于等待运行状态。 是否空跑 否 如果勾选了空跑,该节点不会实际执行,将直接返回成功。 任务组 否 选择任务组。任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。
该参数。 选择“是”后,迁移对象文件时会复制源文件的Content-Type属性,主要用于静态网站的迁移场景。 归档存储的桶不支持设置Content-Type属性,所以如果开启了该参数,目的端选择写入的桶时,必须选择非归档存储的桶。 toJobConfig.quoteChar 否
在配置实时同步任务前,您需要确保源端和目的端的数据库与运行实时同步任务的实时计算资源组之间网络连通,您可以根据数据库所在网络环境,选择合适的网络解决方案来实现网络连通。 本章节主要为您介绍数据库部署在其他云厂商场景下的网络打通方案。 图1 网络示意图 约束限制 资源组为私网网段,不能与数据源网段重叠,否则会导致网络无法打通。
更新:当数据重复时 系统中的原有数据为草稿状态,则会覆盖生成新的草稿数据。 系统中的原有数据为发布状态,则会生成下展数据。 单击“添加文件”,选择编辑完成的导入模板。 单击“上传文件”,上传完成后,自动跳转到“上次导入”页签,查看已导入的数据。 单击“关闭”。 导出 可通过导出的方式将衍生指标导出到本地。
质量作业和对账作业,其单个子作业的数据对象(库、表、字段)个数限制均为300个。 单个数据连接上的质量作业关联SQL的并发数默认为1000,如果超出则等待排队执行。可配置范围10-1000。 单Region内的质量作业关联SQL的并发数为10000,如果超出则等待排队执行。 业务指标监控模块总览中的实例运
Hive)。 *数据连接 选择已创建的数据连接。若未创建请参考创建DataArts Studio数据连接新建连接。 *数据库 选择待嵌入水印的数据库和数据表。 单击数据库后的“设置”,设置待嵌入水印的数据库和数据表。 单击“清除”,可对已选择的数据库和数据表进行修改。 *源表名 *水印嵌入列
必须将CDM的VPC与DWS配置一致,且推荐在同一个内网和安全组,如果不同,还需要配置允许两个安全组之间的数据访问。 端口映射不仅可以用于迁移内网数据库的数据,还可以迁移例如SFTP服务器上的数据。 Linux机器也可以通过IPTABLE实现端口映射。 内网中的FTP通过端口映
CDM会迁移整个目录下的文件到OBS。 文件格式:选择“二进制格式”。这里的文件格式是指CDM传输数据时所用的格式,不会改变原始文件自身的格式。迁移文件到文件时,推荐使用“二进制格式”,传输的效率和性能都最优。 目的端作业配置: 目的连接名称:选择7创建的OBS连接“obslink”。
支持手动输入,也可以在下拉列表中选择已经创建的维度。维度的创建请参见新建维度。 已创建的统计维度来自数据架构模块。 单击“查看映射关系”,可以查看映射关系配置的维度信息,并选择维度对应的字段。 例如,该示例中,统计维度设置为地区。 时间周期 在下拉框中选择所需要的时间周期,并选择关联的字段。系统预置了一些
名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 dws_link 数据库服务器 单击输入框后的“选择”,可获取用户的DWS实例列表。 - 端口 配置为要连接的数据库的端口。DWS数据库端口默认为8000。 8000 数据库名称 配置为要连接的数据库名称。
数据开发 数据开发可以创建多少个作业,作业中的节点数是否有限制? DataArts Studio支持自定义的Python脚本吗? 作业关联的CDM集群删除后,如何快速修复? 作业的计划时间和开始时间相差大,是什么原因? 相互依赖的几个作业,调度过程中某个作业执行失败,是否会影响后续作业?这时该如何处理?
CLICKHOUSE_0_4_2的驱动版本仅支持ClickHouse 20.7及以上的服务器版本。 选择CLICKHOUSE_0_4_2驱动版本时,字段名不能包含(),其他版本不受限制。 引用符号 否 连接引用表名或列名时的分隔符号,参考对应数据库的产品文档进行配置。默认为"。 单次提交行数
安全组类似防火墙,控制谁能访问实例的指定端口,以及控制实例的通信数据流向指定的目的地址。安全组入方向规则建议按需开放地址与端口,这样可以最大程度保护实例的网络安全。 专享版实例绑定的安全组有如下要求: 入方向:如果需要从公网调用API,或从其他安全组内资源调用API,则需要为专享版实例绑定的安全组的入方向放
存储备份文件的OBS桶。 cdm 备份数据目录 存储备份文件的目录。 /cdm-bk/ 恢复作业 如果之前执行过自动备份,“配置管理”页签下会显示备份列表:显示备份文件所在的OBS桶、路径、备份时间。 您可以单击备份列表操作列的“恢复备份”来恢复CDM作业。 作业参数的环境变量 C
API传参是否支持传递操作符? 工作空间内的API配额已满,无法新建API怎么解决? 数据服务专享版的API如何通过公网访问? 数据服务专享版的API怎样通过域名访问? 如何处理API对应的数据表数据量较大时,获取数据总条数比较耗时的问题?