检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
'blackhole' ); 参数说明 表1 选项 是否必要 默认值 类型 描述 connector 是 无 String 指定需要使用的连接器,此处应为'blackhole'。 示例 通过DataGen源表产生数据,BlackHole结果表接收传来的数据。 create table
据库服务DDS,数据仓库服务GaussDB(DWS),MapReduce服务MRS,云数据库RDS等。使用DLI的跨源能力,需要先创建跨源连接。 管理控制台界面具体操作请参考《数据湖探索用户指南》。 使用Spark作业跨源访问数据源支持使用scala,pyspark和java三种语言进行开发。
滤等,以新建图表为例,单击工具栏中的“新建图表 ”,将其拖入编辑区域,请参见图4。 图4 新建图表 选择“name”作为X变量,“age”作为Y变量,将其直接拖入对应的位置,系统将自动生成对应的柱状图,请参见图5。 图5 生成图表 在“制作图表”页面工具栏中单击“保存”,完成制作图表。
障数据的持久性和可靠性。 流量限制:DLI通过设置流量控制机制,防止服务过载并保持服务的稳定性。 跨AZ容灾:DLI云服务采用跨可用区容灾部署,减少单点故障的风险,提高系统的可用性和弹性。 备份恢复:DLI自动化的备份策略和恢复计划,确保在发生故障时可以迅速恢复服务和数据。 父主题:
'datagen' ); 参数说明 表1 参数说明 参数 是否必选 默认值 数据类型 参数说明 connector 是 无 String 指定要使用的连接器,这里是'datagen'。 rows-per-second 否 10000 Long 每秒生成的行数,用以控制数据发出速率。 fields
则新的 watermark 不会被发出。 Watermark 根据 pipeline.auto-watermark-interval 中所配置的间隔发出。 若 watermark 的间隔是 0ms ,那么每条记录都会产生一个 watermark,且 watermark 会在不为空并大于上一个发出的
NAME primary-keys ARRAY<STRING> NULL 保存源表的主键的列名的数组。 如果includePrimaryKeys配置属性设置为true,则仅在JSON输出中包含primary-keys字段。 ingestion-timestamp TIMESTAMP_LTZ(6)
则新的 watermark 不会被发出。 Watermark 根据 pipeline.auto-watermark-interval 中所配置的间隔发出。 若 watermark 的间隔是 0ms ,那么每条记录都会产生一个 watermark,且 watermark 会在不为空并大于上一个发出的
待设置的参数说明如表1所示。 图1 队列权限授权 表1 参数说明 参数名称 描述 用户名 被授权的用户名称。 说明: 该用户名称是已存在的IAM用户名称且该用户登录过DLI管理控制台。 权限设置 删除队列:删除此队列。 提交作业:向此队列提交作业。 终止作业:终止提交到此队列的作业。 赋权:当前用户可将队列的权限赋予其他用户。
array<T> <b>[,...]),concat(string <str1>, string <str2>[,...]) ARRAY或STRING 连接多个字符串,合并为一个字符串,可以接受任意数量的输入字符串。 concat_ws concat_ws(string <separator>
array<T> <b>[,...]),concat(string <str1>, string <str2>[,...]) ARRAY或STRING 连接多个字符串,合并为一个字符串,可以接受任意数量的输入字符串。 concat_ws concat_ws(string <separator>
db/{table_name},其中{lakeformation_catalog_url}对接的lakeformation catalog配置的location,{schema_name}为建表时使用的schema,{table_name}为表名。 不允许向托管表(表属性external
…] ); TBLPROPERTIES允许用户通过键值对的方式(属性名和属性都必须是单引号或双引号包裹的字符串),添加或修改连接器支持的表属性,以Hive连接器为例: TBLPROPERTIES ("transactional"="true") ,可能的取值为[true,false]
https://{Endpoint}/v3/projects”,其中{Endpoint}为IAM的终端节点,可以从地区和终端节点获取。 响应示例如下,例如DLI服务部署的区域为“cn-north-4”,相应消息体中查找“name”为“cn-north-4”,其中projects下的“id”即为项目ID。 {
完成最新checkpoint所用的时间 flink_jobmanager_job_lastCheckpointSize 最新checkpoint的大小,如果启用了增量检查点或更改日志,则此度量可能与lastCheckpointFullSize不同。 flink_jobmanager_job_num
"user_name":"Alice","area_id":"330106"} 按照如下方式查看taskmanager.out文件中的数据结果: 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业名称,选择“运行日志”,单击“OBS桶”,根据作业运行的日期,找到对应日志的文件夹。
integer2 ]) STRING 返回string中从integer1位置开始的长度为integer2的子字符串。若integer2未配置,则默认返回从integer1开始到末尾的子字符串 REPLACE(string1, string2, string3) STRING 用
integer2 ]) STRING 返回string中从integer1位置开始的长度为integer2的子字符串。若integer2未配置,则默认返回从integer1开始到末尾的子字符串 REPLACE(string1, string2, string3) STRING 用
数据的具体格式通过调用ImportJob对象的setCsvFormatInfo接口进行设置。 在提交导入作业前,可选择设置导入数据的分区并配置是否是overwrite写入,分区信息可以调用ImportJob对象的setPartitionSpec接口设置,如:importJob.setPartitionSpec(new
计费时优先使用套餐中的资源,套餐中资源使用完后,超出部分按需付费。 套餐包到期后,按需资源不会自动关闭,将会以按需付费的方式继续使用。 购买套餐包 登录DLI管理控制台。 选择“资源管理 > 队列管理”。 在队列管理页面,单击“购买套餐包”。 在“购买套餐包”页面设置相关参数。 表2 参数说明