检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在数据开发主界面,单击左侧导航上的“脚本开发”,进入脚本目录。 单击脚本目录中的,选择“显示复选框”。 勾选需要导出的脚本,单击 > 导出脚本。导出完成后,即可通过浏览器下载地址,获取到导出的zip文件。 图1 选择并导出脚本 在弹出的“导出脚本”界面,选择需要导出的脚本的状态,单击“确定”。 图2 导出脚本 导出作业
REBOOT_FAILURE:重启失败。 type String 节点类型,只支持一种类型“cdm”。 id String 节点的虚拟机ID。 name String 节点的虚拟机名称。 isFrozen String 节点是否冻结:0:否。1:是。 components String 组件。 config_status
MRS资源队列 选择已创建好的MRS资源队列。 说明: 您需要先在数据安全服务队列权限功能中,配置对应的队列后,才能在此处选择到已配置的队列。当有多处同时配置了资源队列时,此处配置的资源队列为最高优先级。 数据库 选择数据库。MRS API连接方式下不支持选择数据库。 运行程序参数 配置运行参数。
broker列表,格式如:“host1:port1,host2:port2”。 llinkConfig.host 是 String MRS Manager的浮动IP地址,可以单击输入框后的“选择”来选定已创建的MRS集群,CDM会自动填充下面的鉴权参数。 linkConfig.user 是 String 登录MRS
系统支持Flink Jar作业运行前能够查询历史checkpoint,并选择从指定checkpoint启动。要使Flink Checkpoin生效,需要配置两个运行参数: 用来控制checkpoint间隔 -yD:execution.checkpointing.interval=1000 用来控制保留的checkpoint数量
模型校验前缀:针对关系建模里面的物理表(关系表)、维度建模里面的事实表、数据集市的汇总表的新建、修改、导入表时,会校验是否有前缀,没有的话会校验失败。进行逆向操作时,也会校验是否有前缀。 描述 逻辑模型的描述信息。 更多操作如下。 单击已新建的逻辑模型右侧的“编辑”,可以修改逻辑模型的参数信息。
中提取数据。多层嵌套的JSON节点以字符“.”分割。 data.list 高级属性 使用rfc4180解析器 文件格式为CSV格式时支持此参数。 是否使用rfc4180解析器解析CSV文件。 否 换行符 文件格式为CSV格式时支持此参数。 文件中的换行符,默认自动识别"\n"、"\r"或"\r\n"。
兼容标准ANSI SQL 99和SQL 2003,同时兼容PostgreSQL/Oracle数据库生态,为各行业PB级海量大数据分析提供有竞争力的解决方案。 数据湖探索(DLI) 华为云DLI是完全兼容Apache Spark和Apache Flink生态,实现批流一体的Ser
解析响应消息体中的流 导出作业和导出连接的接口响应消息是一个流,需要转化为一个文件。 您可以参考下面的样例代码: String EXPORT_JOB_URL = "https://{endpoint}/v1/{project_id}/jobs/{job_name}/export";
历史中出现数据错误的作业实例,或者构建更多的作业记录以便调试程序等。 补数据作业除了支持SQL脚本,其他节点也支持。 如果SQL脚本的内容有变化,补数据作业运行的是最新版本的脚本。 使用补数据功能时,如SQL中变量是DATE,脚本中就写${DATE},在作业参数中会自动增加脚本参
历史中出现数据错误的作业实例,或者构建更多的作业记录以便调试程序等。 补数据作业除了支持SQL脚本,其他节点也支持。 如果SQL脚本的内容有变化,补数据作业运行的是最新版本的脚本。 使用补数据功能时,如SQL中变量是DATE,脚本中就写${DATE},在作业参数中会自动增加脚本参
取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 mongodb_link 服务节点 一个或者多个节点的地址,以“;”分隔。建议同时配置多个节点。 192.168.0.1;192.168.0.2 端口 连接的Cassandra节点的端口号。 9042
配置HDFS目的端参数 表1 HDFS作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 写入目录 写入数据到HDFS服务器的目录。 /user/cdm/output 文件格式 传输数据时使用的格式。其中CSV和JSON仅支持迁移到数据表场景,二进制格式适用于文件迁移场景。
在左侧流程目录中选中一个流程,单击“新建”按钮,开始新建原子指标。 在新建原子指标页面,参考表1配置参数。在本示例中,需要创建经营面积和销售额两个原子指标数据。 图2 新建原子指标1(配置基本信息、配置数据对象) 图3 新建原子指标1(配置表达式) 表1 新建原子指标参数说明 参数名称
要访问其他项目或企业项目的MRS集群,则需要获取MRS Manager的浮动IP地址并手动输入,并确保已打通本连接Agent(即CDM集群)和MRS租户面集群之间的网络。Manager的浮动IP地址可通过登录MRS集群主Master节点获取,执行ifconfig命令,回显中eth0:wsom的IP就是MRS
split(Job.getNodeOutput("前一节点名"),"]")[0],"[")[0],"\\"")[0]} 当前一节点的输出结果是多个(两个及以上)字段时,输出结果形如[["000"],["001"]]所示。此时需要结合For Each节点及其支持的Loop内嵌对象EL表达式如#{Loop
h、header、query、body等。 说明: 如果自行对接了第三方网关等,请求地址和数据服务展示的地址不一致,需要在请求头中补充参数x-forwarded-host,值为签名时使用的请求地址。 如果使用get请求,不要定义body体。 DLG.0902 Fail to call
究、国际贸易促进等方面。 在这之前,H公司采用其自建的大数据集群,并安排专人维护,每年固定购买电信联通双线专用带宽,在机房、电力、专网、服务器、运维方面进行高额投入,但其在面对客户不断变化的业务诉求时,因为人员投入不足,大数据集群能力不匹配,而无法聚焦业务创新,使得存量100T的数据只有4%的利用率。
要访问其他项目或企业项目的MRS集群,则需要获取MRS Manager的浮动IP地址并手动输入,并确保已打通本连接Agent(即CDM集群)和MRS租户面集群之间的网络。Manager的浮动IP地址可通过登录MRS集群主Master节点获取,执行ifconfig命令,回显中eth0:wsom的IP就是MRS
单击作业目录中的,选择“显示复选框”。 勾选需要导出的作业,单击 > 导出作业,可选择“只导出作业”或“导出作业及其依赖脚本和资源定义”。导出完成后,即可通过浏览器下载地址,获取到导出的zip文件。 图1 选择并导出作业 在弹出的“导出作业”界面,选择需要导出的作业范围和状态,单击“确定”,可以在下载中心查看导入结果。