检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SQL或Transform Load节点第一个Insert SQL语句的作业ID,不指定参数nodeName时,获取前面一个节点第一个DLI Insert SQL语句的作业ID,如果无法获取到作业ID,返回null值。 获取DLI SQL节点test中第一个Insert SQL语句的job
DataArts Studio支持自定义的Python脚本吗? 问题描述 DataArts Studio自定义的Python脚本是否支持。 解决方案 支持。 父主题: 数据开发
ID+"/cdm/job"); /**此处JSON信息比较复杂,可以先在作业管理界面上创建一个作业,然后单击作业后的“作业JSON定义”,复制其中的JSON内容,格式化为Java字符串语法,然后粘贴到此处。 *JSON消息体中一般只需要替换连接名、导入和导出的表名、导入导出表的字段列表、源表中用于分区的字段。**/
条件分支表达式由上游算子的节点编码和变量名组成,使用方法请参考变量表达式定义方法。 表达式定义方法 在定义条件分支的表达式时,需要配置变量表达式。当前仅入口API和普通API支持定义变量,条件分支、并行处理和输出处理暂不支持。表达式标准写法为:${节点编码|变量名},定义方法如表2所示。 节点编码:由系统动态分
global:全局级别。 domain:非全局级别。 用户自定义字段 该配置项是在DataArts Studio数据架构的“配置中心 > 标准模板管理”中添加的自定义项。您可以根据实际情况添加一个或多个自定义项,名称可以自己定义。有关添加自定义项的更多信息,请参见标准模板管理。 描述 描述信息。支持的长度为0~600个字符。
入。 使用包围符 数据库、NoSQL导出到CSV文件(“使用包围符”在目的端):当源端某列数据的字符串中出现字段分隔符时,目的端可以通过开启“使用包围符”,将该字符串括起来,作为一个整体写入CSV文件。CDM目前只使用双引号("")作为包围符。如图1所示,数据库的name字段的值中包含了字段分隔符逗号:
管理配置中心 约束与限制 配置中心中各类对象的自定义项配额如下: 主题自定义项10条。 表自定义项30条。 属性自定义项10条。 业务指标自定义项50条。 主题流程配置 主题流程配置用于自定义主题设计中的主题层级和自定义属性。系统默认有三个层级,从上到下分别命名为主题域分组(L1
"k") 从字符串中指定的位置往后查找,获取指定字符串的第一个索引,没有则转换为“-1”。例如“aabaabaa”中索引3的后面,第一个“b”的索引是5。 表达式:StringUtils.indexOf(value,"b",3) 从字符串获取指定字符串中任一字符的第一个索引,没有则
自己的自定义镜像,然后将镜像发布到SWR(容器镜像服务)中,最后在此选择自己生成的镜像,运行作业。 自定义镜像可以改变Spark作业和Flink作业的容器运行环境。用户可以将一些私有能力内置到自定义镜像中,从而增强作业的功能、性能。关于自定义镜像的更多详情,请参见自定义镜像。 作业名称
strings 源表名称数组,只读。 src_table_db_names Array of strings 源表db名称数组,只读。 src_table_model_ids Array of strings 源表在关系建模中的模型ID数组,只读,ID字符串。 src_table_id_list
String 编码,ID字符串。 model_id 是 String 所属关系建模的模型ID,ID字符串。 parent_table_id 否 String 父表ID,ID字符串。 related_logic_table_id 否 String 关联逻辑实体的ID,ID字符串。 model
strings 源表名称数组,只读。 src_table_db_names Array of strings 源表db名称数组,只读。 src_table_model_ids Array of strings 源表在关系建模中的模型ID数组,只读,ID字符串。 src_table_id_list
strings 源表名称数组,只读。 src_table_db_names Array of strings 源表db名称数组,只读。 src_table_model_ids Array of strings 源表在关系建模中的模型ID数组,只读,ID字符串。 src_table_id_list
“文件格式”选择“CSV格式”时,该参数才显示。 如果某行数据为空,则跳过此行。 否 null值 “文件格式”选择“二进制格式”时,该参数才显示。 由于文本文件中无法用字符串定义null值,此配置项定义将何种字符串标识为null。 否 MD5文件名后缀 “文件格式”选择“二进制格式”时,该参数才显示。
责任人。 parent_id String 父目录ID,没有则为根目录,ID字符串。 swap_order_id String 同层排序,目标节点的ID,ID字符串。 id String 主题ID,ID字符串。 qualified_id String 认证ID,自动生成。 from_public
MRS Flink Job 功能 通过MRS Flink Job节点执行数据开发模块中预先定义的Flink SQL脚本和Flink作业。 MRS Flink Job节点的具体使用教程,请参见开发一个MRS Flink作业。 参数 用户可参考表1和表2配置MRS Flink节点的参数。
strings 源表名称数组,只读。 src_table_db_names Array of strings 源表db名称数组,只读。 src_table_model_ids Array of strings 源表在关系建模中的模型ID数组,只读,ID字符串。 src_table_id_list
TO_EMPTY_STRRING:将null值转换为空字符串。 TO_NULL_STRING:将null值转换为"null"字符串。 TO_NULL 换行符处理方 对于写入hive textfile格式表的数据中存在换行符的场景,指定对换行符的处理策略。 支持删除,替换为其它字符串及不处理三种方式。 删除 换行符替换字符串
转换为Byte[]数组(二进制)写入HBase,其他类型的按字符串写入。如果这几种类型中,有合并做rowkey的,则依然当字符串写入。 该功能作用是:降低存储占用空间,存储更高效;特定场景下rowkey分布更均匀。 否:源端数据库中所有类型的数据,都会按照字符串写入HBase。 否
参数值无需配置可置为空。 当循环执行的子作业需要使用自身参数变量运行时,则本参数可置为空;循环执行的子作业的作业参数需配置参数值。 数据集 是 For循环算子需要定义一个数据集,这个数据集用来循环替换子作业中的变量,数据集应为二维数组,每一行数据会对应一个子作业实例。数据集的来源包括: