检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 若使用MRS HBase,请在增强型跨源的主机信息中添加MRS集群所有节点的主机ip信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。 语法格式 create table
retry-count 是 5 Integer 设置每个连接请求的队列大小。如果超过队列大小,则命令调用将导致RedisException。将requestQueueSize设置为较低的值将导致在过载期间或连接处于断开状态时更早出现异常。更高的值意味着达到边界需要更长的时间,但可能会有更
405119-ihlUr78j.datasource.com:8000/postgres 如果想要访问DWS中自定义数据库,请在这个连接里将"postgres"修改为对应的数据库名字。 passwdauth DLI侧创建的Password类型的跨源认证名称。使用跨源认证则无需在作业中配置账号和密码。
options ( primaryKey = 'id', type = 'mor', preCombineField = 'name' ); 添加列指定列默认值 alter table h3 add columns(col1 string default 'col1_value');
nk OpenSource SQL作业编辑页的UDF Jar参数上传。具体Flink OpenSource SQL作业创建指导可以参考https://support.huaweicloud.com/usermanual-dli/dli_01_0498.html。 语法格式 create
retry-count 是 5 Integer 设置每个连接请求的队列大小。如果超过队列大小,则命令调用将导致RedisException。将requestQueueSize设置为较低的值将导致在过载期间或连接处于断开状态时更早出现异常。更高的值意味着达到边界需要更长的时间,但可能会有更
为弹性资源池ID。 增强型跨源连接ID:在DLI管理控制台的“增强型跨源连接”列表页获取“连接ID”即为增强型跨源连接ID。 数据库ID:添加标签时候传入的数据库ID即数据库名。您可以在DLI控制台的“库表管理”页面查看数据库名称。 Flink作业ID:在DLI管理控制台的“Fl
obs_jar_paths:对应资源包的OBS路径,参数构成为:{bucketName}.{obs域名}/{jarPath}/{jarName}。 例如:"https://bucketname.obs.cn-north-1.myhuaweicloud.com/jarname.jar" group_name:资源包所属分组名称。
登录数据湖探索管理控制台,选择“SQL作业”,在要修改的作业所在行的“操作”列,单击“编辑”进入SQL编辑器界面。 在SQL编辑器界面,单击“设置”,在“配置项”尝试添加以下几个Spark参数进行解决。 参数项如下,冒号前是配置项,冒号后是配置项的值。 spark.sql.enableToString:false
参考创建Flink OpenSource作业,创建flink opensource sql作业,输入以下作业运行脚本,提交运行作业。该作业脚本将Kafka作业数据源,将DWS作为结果表。 注意:创建作业时,在作业编辑界面的“运行参数”处,“Flink版本”选择“1.15”,勾选“保存作业日志”并
参考创建Flink OpenSource作业,创建flink opensource sql作业,输入以下作业运行脚本,提交运行作业。该作业脚本将Kafka作业数据源,将DWS作为结果表。 注意:创建作业时,在作业编辑界面的“运行参数”处,“Flink版本”选择“1.12”,勾选“保存作业日志”并
String kind = "jar"; String[] paths = new String[1]; paths[0] = "https://bucketname.obs.cn-north-1.myhuaweicloud.com/jarname.jar"; String
操作完成时间。 status String 扩缩容成功或者失败的状态。 fail_reason String 失败原因。 请求示例 GET https://{endpoint}/v3/{project_id}/elastic-resource-pools/{elastic_resour
是否异步上传资源包。 请求示例 从OBS上传jar包至DLI,并定义分组名称为gatk。 { "paths": [ "https://test.obs.xxx.com/test_dli.jar" ], "group": "gatk" } 响应示例 {
闭。例如时间窗口的间隔时间是 30 分钟,当其不活跃的时间达到30分钟后,若观测到新的记录,则会启动一个新的会话时间窗口(否则该行数据会被添加到当前的窗口),且若在 30 分钟内没有观测到新纪录,这个窗口将会被关闭。会话时间窗口可以使用事件时间(批处理、流处理)或处理时间(流处理)。
是否异步上传资源包。 请求示例 从OBS上传python文件至DLI,并定义分组名称为gatk。 { "paths": [ "https://test.obs.xxx.com/dli_tf.py" ], "group": " gatk" } 响应示例 {
新用户指之前不具备此队列权限的用户。 单击“权限信息”右侧的“授权”,弹出“授权”对话框。 填写“用户名”,并勾选对应权限。 单击“确定”,完成新用户的添加。 待设置的参数说明如表1所示。 图1 队列权限授权 表1 参数说明 参数名称 描述 用户名 被授权的用户名称。 说明: 该用户名称是已存
"root" val password = "######" val dbtable = "test.customer" 创建DataFrame,添加数据,并重命名字段。 1 2 3 4 var dataFrame_1 = sparkSession.createDataFrame(List((8
该用户名称是已存在的IAM用户名称且该用户登录过DLI管理控制台。 权限设置 更新:当前用户可更新弹性资源池的描述信息。 资源管理:当前用户可在弹性资源池上添加队列、删除队列、操作队列的扩缩容策略配置。 删除:当前用户可删除此弹性资源池。 规格变更:当前用户对于包年包月的弹性资源池可以执行规格变更操作。
为了传递时间属性,需要在 GROUP BY 子句中添加 window_time 列。window_time 是窗口表值函数(Windowing TVFs)产生的三列之一,它是窗口的时间属性。 window_time 添加到 GROUP BY 子句后就能被选定了。下面的查询可以