检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据库的名称,命名要求如下: DLI:数据库名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线开头。 DWS:数据库名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线开头。 MRS Hive:只能包含英文字母、数字、“_”,只能以数字和字母开头,不能全部为数字,且长度为1~128个字符。
建目录”。 在弹出的“新建目录”页面,配置如表1所示的参数。 表1 脚本目录参数 参数 说明 目录名称 脚本目录的名称,只能包含英文字母、数字、中文字符、“_”、“-”,且长度为1~64个字符。 选择目录 选择该脚本目录的父级目录,父级目录默认为根目录。 单击“确定”,新建目录。
请参考新建时间限定进行创建。 通用限定 如需设置通用限定,可以单击“新建”按钮新建一个或多个通用限定。只能包含中文、英文字母、数字和下划线,且只能以中文或英文字母开头。 如图2所示,在新建通用限定区域,通过以下配置新建一个通用限定。 限定名称:指定通用限定的名称。 添加条件(且)
BZIP2:压缩为BZIP2格式。 LZ4:压缩为LZ4格式。 SNAPPY:压缩为SNAPPY格式。 SNAPPY 换行符 文件中的换行符,默认自动识别“\n”、“\r”或“\r\n”。“文件格式”为“二进制格式”时该参数值无效。 \n 字段分隔符 文件中的字段分隔符。“文件格式”为“二进制格式”时该参数值无效。
常量是指在不同的空间下都是一样的,导入的时候,不需要重新配置值。 图2 环境变量配置 表1 环境变量参数配置 参数 是否必选 说明 参数名称 是 只支持英文字母、数字、“-”、“_”,最大长度为64字符,且参数名称不允许重名。 参数名称需根据脚本变量定义中设置的格式来命名。例如,脚本变量定义中设置的格式为${dlf
新建作业 在弹出的“新建作业”页面,配置如所示的参数。单击“确定”,创建作业。 表1 作业参数 参数 说明 作业名称 自定义作业的名称,只能包含英文字母、数字、中文、“-”、“_”、“.”,且长度为1~128个字符。 作业类型 选择作业的类型。 批处理作业:按调度计划定期处理批量数据,主
单击,进入“集群列表”页面新建MRS集群。 前往MRS管理控制台进行新建。 MapReduce作业名称 是 MRS作业名称,只能由英文字母、数字、中划线和下划线组成,长度不能超过64个字符。 说明: 作业名称不得包含中文字符、超出长度限制等。如果作业名称不符合规则,将导致提交MRS作业失败。 Jar包资源 是 选择J
只允许除\、<、>、%、"、'、;及换行符以外的字符。 维度属性的字段会自动显示所添加的维度表及维度表的属性值字段,一般不需要修改。 英文名称 只能以英文字母开头,支持英文字母、数字、下划线。 数据类型 显示该字段名称的数据类型。 配置类型 表示该字段名称对应的配置类型。比如衍生指标。 关联对象 表示该
<=9) ? "true" : "false"} 配置作业参数。此处需将参数名填写为result,仅用于主作业testif中的For Each节点识别子作业参数;参数值无需填写。 图7 配置作业参数 配置完成后保存作业。 开发主作业 在“作业开发”页面,新建数据开发主作业testif。选择HIVE
Content-Type 否 String 消息体的类型(格式),有Body体的情况下必选,没有Body体无需填写。如果请求消息体中含有中文字符,则需要通过charset=utf8指定中文字符集,例如取值为:application/json;charset=utf8。 表3 请求Body参数 参数 是否必选
['003']] 子作业参数:@@#{Loop.current[0]}@@ 此处子作业参数的EL表达式需要添加@@。如果不加@@包围,数据集001会被识别为1,导致源表名不存在的问题。 如下图所示: 图10 配置关键参数 配置完成后单击“保存并提交版本”,以保存主作业。 创建主作业和子作业完
表5 DLI数据表 参数 是否必选 说明 基本属性 表名 是 数据表的名称。只能包含英文字母、数字、“_”,但不能为纯数字,且不能以“_”、数字开头。 别名 否 数据表的别名。只能包含中文、英文字母、数字、“_”,但不能为纯数字,且不能以“_”开头。 数据连接类型 是 数据表所属的数据连接类型。系统默认。
符串,字符串间以换行符分隔。当“HTTP方法”为“GET”时,显示该配置项。参数说明如下: 参数 只支持英文字母、数字、“-”、“_”,最大长度为32字符。 值 只支持英文字母、数字、“-”、“_”、“#”、“{”和“}”,最大长度为64字符。 请求消息体 是 填写Json格式的
<=9) ? "true" : "false"} 配置作业参数。此处需将参数名填写为result,仅用于主作业testif中的For Each节点识别子作业参数;参数值无需填写。 图7 配置作业参数 配置完成后保存作业。 开发主作业 在“作业开发”页面,新建数据开发主作业testif。选择HIVE
文件格式为CSV格式时支持此参数。 是否使用rfc4180解析器解析CSV文件。 否 换行符 文件格式为CSV格式时支持此参数。 文件中的换行符,默认自动识别"\n"、"\r"或"\r\n"。 \n 使用包围符 文件格式为CSV格式时支持此参数。 使用包围符来括住字符串值。包围符内的字段分隔符被
当选择“BINARY_FILE”时,目的端也必须为文件系统。 fromJobConfig.lineSeparator 否 String 文件中的换行符,默认自动识别"\\n"、"\\r"或"\\r\\n"。手动配置特殊字符,如空格回车需使用URL编码后的值。或通过编辑作业json方式配置,无需URL编码。
节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。 表2 Flink SQL作业-属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”
Content-Type 是 String 消息体的类型(格式),有Body体的情况下必选,没有Body体无需填写。如果请求消息体中含有中文字符,则需要通过charset=utf8指定中文字符集,例如取值为:application/json;charset=utf8。 响应参数 状态码: 200 表4 响应Body参数
Content-Type 否 String 消息体的类型(格式),有Body体的情况下必选,没有Body体无需填写。如果请求消息体中含有中文字符,则需要通过charset=utf8指定中文字符集,例如取值为:application/json;charset=utf8。 表3 请求Body参数 参数 是否必选
在弹出对话框中配置如下参数,然后单击“确定”完成流程的创建。 图3 新建流程 表1 新建流程参数说明 参数名 说明 *流程名称 流程名称,只能包含中文、英文字母、数字和下划线。 *责任人 流程的责任人,可以手动输入名字或直接选择已有的责任人。 上级流程 选择所属的上级流程。 描述 流程的描述信息。