检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
方法一:"更多" -> "FlinkUI" -> "Task Managers" -> "Stdout"。 方法二:若在提交运行作业前选择了保存日志,则可以从日志的taskmanager.out文件中查看。 +I(47.29.201.179 - - [28/Feb/2019:13:17:10 +0000]
单击操作列的“权限设置”,修改当前用户的权限。详细权限描述如表1所示。 当“权限设置”中的选项为灰色时,表示您不具备修改此跨源认证权限的权限。可以向管理员用户、组所有者等具有赋权权限的用户申请“跨源认证的赋权”和“跨源认证权限的回收”权限。 如需回收当前用户的全部权限,可单击操作列的
),访问桶或对象时可能会进行安全证书校验。 导入源文件时,如果源文件中的某一列与目标表列类型不匹配,将会导致该行数据的查询结果为null 。 不支持并发导入同一张表。 调试 您可以在API Explorer中调试该接口。 URI URI格式: POST /v1.0/{project_id}/jobs/import-table
创建表参数 参数 说明 host OpenTSDB连接地址。 访问CloudTable OpenTSDB,填写OpenTSDB链接地址,具体可以登录CloudTable控制台,单击“集群模式 > 集群名称”,在集群信息获取OpenTSDB链接地址。 访问MRS OpenTSDB,若
resource为指定在CSS关联的资源名。格式可以用"/index/type"指定资源位置(可简单理解index为database,type为table,但绝不等同)。 ES 6.X版本中,单个Index只支持唯一type,type名可以自定义。 ES 7.X版本中,单个Index
执行Flink或Spark作业请选择通用队列。 _ 执行引擎 SQL队列可以选择队列引擎为Spark或者HetuEngine。 _ 企业项目 选择对应的企业项目。 default 单击“下一步”,配置队列的扩缩容策略。 单击“新增”,可以添加不同优先级、时间段、“最小CU”和“最大CU”扩缩容策略。
景中使用。 前提条件 确保已创建kafka集群。 该场景作业需要运行在DLI的独享队列上,因此要与Kafka集群建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。
-- name=xxx&age=25 编码函数 url_encode(value) → varchar 描述:对value进行转义处理,以便可以安全地将其包含在URL查询参数名和值中: 字母字符不会被编码。 字符 ., -, * 和 _不会被编码。 ASCII 空格字符会被编码为+
作。 覆盖指定路径:在指定目录下新建文件,会删除已有文件。 表头:无/有 设置导出数据是否含表头。 单击“确定”即可导出数据。 (可选)您可以在“作业管理”>“SQL作业”页面查看导出作业的“状态”、“执行语句”等信息。 在“作业类型”中选择“EXPORT”,输入导出数据的时间段,即可查询出对应条件下的作业列表。
aggregate | true | (2 rows) --如果匹配字符串中有字符与通配符冲突,可以指定转义字符来标识,示例为查询default这个schema下,table_name前缀为"t_" 的所有table,转义字符为"\": SHOW
Managers”,单击对应的任务名称,选择“Stdout”查看作业运行日志。 方法二:若在提交运行作业前“运行参数”选择了“保存作业日志”,可以通过如下操作查看。 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业名称,选择“运行日志”,单击“O
Managers”,单击对应的任务名称,选择“Stdout”查看作业运行日志。 方法二:如果在提交运行作业前“运行参数”选择了“保存作业日志”,可以通过如下操作查看。 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业名称,选择“运行日志”,单击“O
按照存储在DLI服务中的数据存储量(单位为“GB”)收取存储费用。 适用于在DLI 存储表数据的场景,例如时延敏感类的业务将表存储在DLI,使用存储量套餐包可以节省存储费用。 存储套餐的额度每个小时会重置。 判断套餐包额度是否超出 如果当月使用量超出已购买套餐包的额度,超出部分将自动转为按需计费。怎样查看套餐包资源的使用情况?
-keystore transport-keystore.jks 使用keytool工具生成keystore和truststore文件后,可以在文件夹中看到transport-keystore.jks文件,使用如下命令验证keystore文件和证书信息。 keytool -list
析DLI中的数据的操作步骤。 操作流程 图1 操作流程 步骤1:安装并配置Kyuubi连接DLI:安装并配置Kyuubi,确保Kyuubi可以连接到DLI。 步骤2:配置ODBC连接Kyuubi:安装ODBC驱动,配置ODBC驱动连接到Kyuubi服务器。 步骤3:配置Power
虚拟私有云:选择Kafka的虚拟私有云。 子网:选择Kafka的子网。 其他参数可以根据需要选择配置。 参数配置完成后,单击“确定”完成增强型跨源配置。单击创建的跨源连接名称,查看跨源连接的连接状态,等待连接状态为“已激活”后可以进行后续步骤。 单击“队列管理”,选择操作的队列,本示例为步骤1:
在队列“权限设置”对话框中,对当前用户具备的权限进行修改。详细权限描述如表1所示。 当“权限设置”中的选项为灰色时,表示您不具备修改此队列权限的权限。可以向管理员用户、队列所有者等具有赋权权限的用户申请“队列的赋权”和“队列权限的回收”权限。 图2 队列权限设置 单击“确定”完成权限设置。 回收某用户具备的所有权限。
默认值为5,根据业务场景指定 推荐方案 Spark/Flink流任务仅执行Schedule,然后另起一个Spark SQL任务定时仅执行Run。 Spark批任务可以直接同时执行Schedule + Run。 为了保证入湖的最高效率,推荐使用同步产生compaction调度计划,异步执行compaction调度计划。
]),concat(string <str1>, string <str2>[,...]) ARRAY或STRING 连接多个字符串,合并为一个字符串,可以接受任意数量的输入字符串。 concat_ws concat_ws(string <separator>, string <str1>, string
hadoop的Combiner。 merge接收terminatePartial的返回结果。 terminate返回最终的聚集函数结果。 详细UDAF函数实现,可以参考如下样例代码: package com.dli.demo; import org.apache.hadoop.hive.ql.exec