检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
86687baf85c 完成请求消息入参准备。 表2 参数 参数类型 参数说明 使用示例 path参数 路径参数,作为url的一部分,直接替换url中{}标识的参数。 参数:param = xxx 原url:http://域名/p1/{param}/p2 实际url:http://域名/p1/xxx/p2
配置Hudi源端参数 表1 MRS Hudi作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 数据库名称 输入或选择数据库名称。单击输入框后面的按钮可进入数据库选择界面。 default 表名 输入或选择Hudi表名。单击输入框后面的按钮可进入表的选择界面。 该参数支
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
、中划线和通配符*,暂不支持中文以及其他特殊字符。 图6 数据视角授权 权限视角:权限视角下,系统从权限的角度为您提供权限配置入口。 配置权限时,您需要直接单击“新建”,然后依次选择数据层级,进行权限配置。在权限视角下,同一层级(例如数据库、数据表或数据列)不允许选择多个对象进行
参数名 说明 取值样例 基本参数 源连接名称 选择已配置的MRS Hudi连接。 hudi_from_cdm 数据库名称 输入或选择数据库名称。单击输入框后面的按钮可进入数据库选择界面。 default 表名 输入或选择Hudi表名。单击输入框后面的按钮可进入表的选择界面。 该参数支
用时会导致缺少Static参数值的报错)。 参数类型分为数值型Number与字符型String两大类。Number参数对应数据库中int、double、long等数值数据类型,String参数对应数据库中char、vachar、text等文本数据类型。 是否必填、允许空值以及默认值。
配置Doris目的端参数 表1 Doris作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称,支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。
fromJobConfig.lineSeparator 否 String 文件中的换行符,默认自动识别"\\n"、"\\r"或"\\r\\n"。手动配置特殊字符,如空格回车需使用URL编码后的值。或通过编辑作业json方式配置,无需URL编码。 fromJobConfig.fieldSeparator
oracle_link 数据库服务器 数据库服务器域名或IP地址。 192.168.0.1 端口 Oracle数据库的端口。 3306 数据库连接类型 Oracle数据库连接类型。 Service Name 数据库名称 要连接的数据库。 db_user 用户名 拥有Oracle数据库的读取权限的用户。
担压力。 数据集成配置 数据库名称 是 配置为要连接的数据库名称。 例如:dbname 驱动版本 否 选择ClickHouse驱动版本。 CLICKHOUSE_0_3_1:适用于连接ClickHouse 20.7以下版本,此驱动版本不支持多IP连接数据库服务器。 CLICKHOU
属性值。 fd_id String 属性定义的ID,ID字符串。 directory_id String 标准所属目录,ID字符串。 row_id String 标准所属行,ID字符串。 id String 数据标准的ID,ID字符串。 status String 实体的发布状态,只读,创建和更新时无需填写。
fd_id 否 String 属性定义的ID,ID字符串。 directory_id 否 String 标准所属目录,ID字符串。 row_id 否 String 标准所属行,ID字符串。 id 否 String 数据标准的ID,ID字符串。 status 否 String 实体的发布状态,只读,创建和更新时无需填写。
提交调度后的作业执行失败,报depend job [XXX] is not running or pause怎么办? 如何创建数据库和数据表,数据库对应的是不是数据连接? 为什么执行完HIVE任务什么结果都不显示? 在作业监控页面里的“上次实例状态”只有运行成功、运行失败,这是为什么?
在弹出的“新建目录”页面,配置如表1所示的参数。 表1 作业目录参数 参数 说明 目录名称 作业目录的名称,只能包含英文字母、数字、中文字符、“_”、“-”,且长度为1~64个字符。 选择目录 选择该作业目录的父级目录,父级目录默认为根目录。 单击“确定”,新建目录。 新建作业 参考访问DataArts
jsonStr,String jsonPath) 返回json字符串指定路径下的字段值。类似于XPath,path方法可以通过路径检索或设置JSON,其路径中可以使用.或[]等访问成员、数值,例如:tables[0].table_name。 字符串变量str的内容如下: {
参数的动态替换。 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。 单击“默认项设置”,可设置“是否使用简易变量集”配置项。 是:支持使用简易变量集。通过简易变量集提供的一系列自定义的变量,自定义参数会根据任务调度的业务日期、计划时间及参数的取值格式自动替换为具体的值,实现在任务调度时间内参数的动态替换。
ID,创建时可不传,更新时必填。ID字符串。 parent_id 是 String 父目录ID,首层传null。ID字符串。 prev_id 是 String 上个节点ID,首节点传null。ID字符串。 ref_id 否 String 关联的主题ID,ID字符串。 children 否 Array
fd_id 否 String 属性定义的ID,ID字符串。 directory_id 否 String 标准所属目录,ID字符串。 row_id 否 String 标准所属行,ID字符串。 id 否 String 数据标准的ID,ID字符串。 status 否 String 实体的发布状态,只读,创建和更新时无需填写。
作业参数配置 功能 说明 变量 新增 单击“新增”,在文本框中填写作业参数的名称和参数值。 参数名称 名称只能包含字符:英文字母、数字、中划线和下划线。 参数值 字符串类的参数直接填写字符串,例如:str1。 数值类的参数直接填写数值或运算表达式。 参数配置完成后,在作业中的引用格式为${参数名称}。
ID,创建时可不传,更新时必填。ID字符串。 parent_id 是 String 父目录ID,首层传null。ID字符串。 prev_id 是 String 上个节点ID,首节点传null。ID字符串。 ref_id 否 String 关联的主题ID,ID字符串。 children 否 Array