检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据连接创建完成后,您可以基于数据连接,通过可视化模式或SQL脚本方式新建数据库。 (推荐)可视化模式:您可以直接在DataArts Studio数据开发模块通过No Code方式,新建数据库。 SQL脚本方式:您也可以在DataArts Studio数据开发模块或对应数据湖产品的SQL编辑器上,开发并执行用于
在数据开发子模块中,doris SQL作业执行失败,是什么原因? 问题描述 在数据开发子模块中,doris SQL作业调度任务失败,手动执行成功。 图1 执行历史 图2 运行日志 解决方案 Doris SQL不支持#注释,支持--注释和/**/。 父主题: 数据开发
MySQL迁移时报错:invalid input syntax for integer: "true" 问题描述 数据库中存储的是1或0,但没有true和false的数据,但MySQL迁移时读取到的是true或false,提示报错信息:Unable to execute the SQL
DateUtil内嵌对象 DateUtil内嵌对象提供了一系列时间格式化、时间计算方法。 方法 表1 方法说明 方法 描述 示例 String format(Date date, String pattern) 将Date类型时间按指定pattern格式为字符串。 将作业调度计划的时间,转换为毫秒格式。
执行DWS SQL脚本时,提示id不存在,如何处理? 可能原因 在执行DWS SQL脚本时,提示id不存在,原因是由于id的大小写引起的。 解决方案 DWS执行SQL时,系统默认是小写,如果是大写字段需要加""。 举例:select * from table1 order by "ID";
10 图2 编写API查询SQL 脚本编辑完成后,单击脚本编辑窗口下方的“测试SQL”,填写入参值,执行验证是否能返回预期结果。如果测试失败,可在“预览SQL”页签下查看实际运行的SQL语句是否符合预期,或者通过“日志”页签查看报错信息。 图3 测试SQL SELECT查询的字段即
执行RDS SQL,报错hll不存在,在DataArts Studio可以执行成功? 问题描述 执行RDS SQL,报错hll不存在,作业和可以执行成功。 解决方案 这个hll插件默认创建在public schema,SQL需要带上hll所属的schema。 父主题: 数据开发
户生成数据处理代码,数据处理全流程质量监控,异常事件实时通知。 丰富的数据开发类型 支持多人在线协作开发,脚本开发可支持SQL、Shell在线编辑、实时查询;作业开发可支持CDM、SQL、MRS、Shell、Spark等多种数据处理节点,提供丰富的调度配置策略与海量的作业调度能力。
选择需要执行的Flink SQL脚本。如果脚本未创建,请参考新建脚本和开发SQL脚本创建和开发Flink SQL脚本。 脚本参数 否 关联的Flink SQL脚本如果使用了参数,此处显示参数名称,请在参数名称后的输入框配置参数值。参数值支持使用EL表达式。 若关联的Flink SQL脚本,脚本参数发生变化,可单击刷新按钮同步。
使用Python脚本连接MRS安全集群执行Impala SQL 第一步:在执行任务的服务器上安装相应的包 pip install krbcontext(版本0.10) pip install kerberos(版本1.3.1) pip install impala 命令样例如下:
MySQL到DWS实时同步中,同步新增列的DDL时报错怎么办? 问题描述 1. 运行migration mysql2dws链路的实时同步作业,DDL同步中对增加列操作设置为“正常处理”。 2. 在目的端DWS表有数据的场景下,源端MySQL执行DDL语句,添加带非空约束的列,默认值为空字符串,如:alter
如果“发布日志”中有错误日志,说明发布失败。您可以单击“重新同步”进行重试。 预览SQL 在汇总表列表中,找到所需要的汇总表,在右侧单击“更多 > 预览SQL”,弹出“预览SQL”对话框。 在“预览SQL”中,您可以查看SQL语句,也可以复制SQL。 下线 在需要下线的汇总表右侧,单击“更多 > 下线”,系统弹出“提交下线”对话框。
下载中心 数据开发模块对于SQL脚本执行的结果支持直接下载和转储。SQL执行结果进行下载和转储后,可以通过下载中心查看下载和转储的结果。 约束与限制 仅SQL脚本和单任务SQL作业运行完成并且返回结果后,执行下载和转储,在下载中心生成记录,可以查看下载和转储的结果。 下载中心 下
CSS 功能 通过CSS节点执行云搜索请求,实现在线分布式搜索功能。 参数 用户可参考表1和表2配置CSS节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。
是 String 节点类型: Hive SQL:执行Hive SQL脚本 Spark SQL:执行Spark SQL脚本 DWS SQL: 执行DWS SQL脚本 DLI SQL: 执行DLI SQL脚本 Shell:执行Shell SQL脚本 CDM Job:执行CDM作业 D
的伪代码。 单击“生成伪代码”,可以对已经生成的伪代码进行刷新。单击“复制到指标代码”可以复制代码到下面的指标代码,单击“格式化”,可以对指标代码进行格式化。 在页面下方,单击“保存”按钮。 单击“发布”,在弹出框中,选择审核人,单击“确认提交”,提交审核。等待审核人员审核,审核通过后,衍生指标创建完成。
String 执行SQL语句所关联的数据库,当type参数值为DLISQL、SparkSQL、HiveSQL、DWSSQL、PRESTO、ClickHouseSQL、ImpalaSQL、HetuEngineSQL、RDSSQL其中之一时,才支持此参数。 type为DLISQL时,可以通过查看所有数据库接口获取数据库信息。
接引用SQL模板,同时在配置作业运行参数的时候,可以直接使用作业参数模板,不用再进行重复配置。 约束限制 该功能适用于以下场景: Flink SQL脚本可以引用脚本模板。 在pipeline作业开发中,MRS Flink Job节点可以使用引入了脚本模板的Flink SQL脚本,同时在MRS
数据目录目前支持采集数据湖的资产,例如MRS Hive、DLI、DWS等,除此之外也支持采集以下数据源的元数据: 关系型数据库,如MySQL/PostgreSQL等(可使用RDS类型连接,采集其元数据) 云搜索服务CSS 图引擎服务GES 对象存储服务OBS MRS Hudi组件(MRS
开发并调度Import GES作业 本章节介绍通过数据开发调用数据集成作业,将MySQL原始数据定期同步到OBS和MRS Hive中,并标准化为GES点/边数据集。然后基于标准化点/边数据集,自动生成图的元数据,实现最终将图数据(点数据集、边数据集和元数据)定期导入到GES服务中。