检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当为工作空间分配队列资源后,在数据开发组件在为作业节点配置队列资源时,可选择的队列为当前空间下已分配的队列资源。 当前支持在选择MRS Yarn队列时,从已分配的队列资源获取队列列表。如果未分配队列资源,则只支持选择root.default队列。 当为用户组/用户配置队列权限后,MRS队列权限管控由MRS Ra
BS中,分别用于存放原始告警表、告警统计报表。 图9 创建数据表 关键操作说明: 图9中的脚本开发区为临时调试区,关闭脚本页签后,开发区的内容将丢失。如需保留该SQL脚本,请单击,将脚本保存至指定的目录中。 关键参数说明: 数据连接:1中创建的DLI数据连接。 数据库:2中创建的数据库。
删除 执行9。 导入 执行10。 导出 执行11。 编辑 在需要编辑的衍生指标右侧,单击“编辑”,进入编辑衍生指标页面。 根据实际需要编辑相关内容。 在页面下方,单击“试运行”按钮,然后在弹出框中单击“试运行”按钮,测试所设置的衍生指标是否可以正常运行。 如果试运行失败,请根据错误提
指标在具体应用场景(报表/报告)中习惯或者简化使用的名字。 *设置目的 简要描述通过此指标希望达到的管理目的。 *指标定义 准确描述指标含义,相关人员能够理解指标所度量的内容。 *计算公式 给出指标清晰的计算规则,可以根据公式计算得出指标数据。 数据来源 需要明确来自于哪个系统,如果可能,请标示出具体的数据表名、字段。
指CDM以哪种格式解析数据,可选择以下格式: CSV格式:以CSV格式解析源文件,用于迁移文件到数据表的场景。 二进制格式:选择“二进制格式”时不解析文件内容直接传输,不要求文件格式必须为二进制。适用于文件到文件的原样复制。 JSON格式:以JSON格式解析源文件,一般都是用于迁移文件到数据表的场景。
了工作效率。 建议您将简单模式工作空间升级为企业模式工作空间,以便获得更好的开发流程管控。详情请参见创建企业模式工作空间。 背景信息 本文内容由以下几部分构成,从不同角度分别为您解决企业模式不同的问题。 表1 了解企业模式 分类 说明 简单模式与企业模式介绍 不同工作空间模式的介绍。
查该Flink作业是否依然处于运行中的状态,如果处于运行状态,则认为节点执行成功。 参数 DLI Flink Job的参数配置,请参考以下内容: 属性参数: 当作业类型为“Flink SQL作业”、“Flink OpenSource SQL作业”或“Flink自定义作业”时,系统
会生成多个指定大小的CSV文件,避免导出的文件过大。该参数的数据类型为整型,单位为MB。 JSON格式 这里主要介绍JSON文件格式的以下内容: CDM支持解析的JSON类型 记录节点 从JSON文件复制数据 CDM支持解析的JSON类型:JSON对象、JSON数组。 JSON对
time_format[, src_tz, dst_tz]): 将源端col列按time_format格式化, 可选转换时区。 now([tz]): 获取指定时区的当前时间。 if(cond_exp, str1, str2): 满足条件表达式cond_exp时返回str1, 否则返回str2。
会生成多个指定大小的CSV文件,避免导出的文件过大。该参数的数据类型为整型,单位为MB。 JSON格式 这里主要介绍JSON文件格式的以下内容: CDM支持解析的JSON类型 记录节点 从JSON文件复制数据 CDM支持解析的JSON类型:JSON对象、JSON数组。 JSON对
目前专享版集群创建完成后不支持切换VPC、子网、安全组,请谨慎选择。 如果开启公网入口,安全组入方向需要放开80(HTTP)和443(HTTPS)端口的访问权限。 此处支持选择共享VPC子网,即由VPC的所有者将VPC内的子网共享给当前账号,由当前账号在购买数据服务专享版集群时选
本入门指南以某市出租车出行数据为例,统计某出租车供应商2017年度的运营数据。 本示例演示的原始数据来自于NYC开放数据平台。 为方便演示,您无需获取原始数据,本示例提供了模拟原始数据的样例数据供您使用。您可以参考下文的样例数据准备方法,将样例数据存储为CSV文件,将CSV文件上传至OBS服务中,然后再使用DataArts
详细操作请参见查看DAG图。 全量导出 单击“全量导出”,进入到“导出全量数据”页面,单击“确认”。导出完成后,请到下载中心查看导出的内容。 如果没有配置默认存储路径,单击“批量导出”后,配置存储路径,可以将该存储路径设为OBS默认地址。 当前导出数据量最大为30M,超过30M系统会自动截断。
time_format[, src_tz, dst_tz]): 将源端col列按time_format格式化, 可选转换时区。 now([tz]): 获取指定时区的当前时间。 if(cond_exp, str1, str2): 满足条件表达式cond_exp时返回str1, 否则返回str2。
入方向:如果需要从公网调用API,或从其他安全组内资源调用API,则需要为专享版实例绑定的安全组的入方向放开80(HTTP)、443(HTTPS)两个端口。 出方向:如果后端服务部署在公网,或者其他安全组内,则需要为专享版实例绑定的安全组的出方向放开后端服务地址与API调用监听端口。
数据服务专享集群增量包对应数据服务专享版集群。 数据服务定位于标准化的数据服务平台,提供一站式数据服务开发、测试部署能力,实现数据服务敏捷响应,降低数据获取难度,提升数据消费体验和效率,最终实现数据资产的变现。数据服务当前提供共享版与专享版两种服务方式,差异请参见共享版与专享版数据服务的对比。
time_format[, src_tz, dst_tz]): 将源端col列按time_format格式化, 可选转换时区。 now([tz]): 获取指定时区的当前时间。 if(cond_exp, str1, str2): 满足条件表达式cond_exp时返回str1, 否则返回str2。
time_format[, src_tz, dst_tz]): 将源端col列按time_format格式化, 可选转换时区。 now([tz]): 获取指定时区的当前时间。 if(cond_exp, str1, str2): 满足条件表达式cond_exp时返回str1, 否则返回str2。
自定义规则模板是很多用户可能都要使用的数据,不能随意进行修改,开发者只有查询权限,如果要修改规则模板,请联系管理员进行修改。 自定义规则模板支持直接修改规则模板内容并进行发布。同时,可以选择下线历史版本且将待下线历史版本关联的作业迁移到新版本上。具体请参见如下操作。 编辑规则模板时,编辑界面增加了“版本名称”和“关联作业”两个参数。
数据库名称 待迁移的数据库名称,源连接中配置的用户需要拥有读取该数据库的权限。 ddsdb 查询筛选 创建用于匹配文档的筛选器。 例如:{HTTPStatusCode:{$gt:"400",$lt:"500"},HTTPMethod:"GET"}。 - 配置目的端作业参数,根据待导入数据的云服务配置对应参数,如表2所示。