检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建source流从Redis获取数据，作为作业的输入数据。 前提条件 要建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。 语法格式 1 2 3 4 5
SHOW_TIME_LINE 命令功能 查看当前生效或者被归档的Hudi time line以及某个指定instant time的详细内容。 命令格式 查看某个表生效的time line列表： call show_active_instant_list(table => '[table_name]');
簇，一个rowkey运行一个亿的模拟数据，数据量为9.76GB。导入1000W条数据后作业失败。 原因分析 查看driver错误日志。 查看executor错误日志。 查看task错误日志。 结论：rowkey过于集中，出现了热点region。 处理步骤 Hbase做预分区。 把rowkey散列化。
如何申请扩大配额 如何申请扩大配额？ 登录管理控制台。 在页面右上角，选择“资源 > 我的配额”。 系统进入“服务配额”页面。 图1 我的配额 单击“申请扩大配额”。 在“新建工单”页面，根据您的需求，填写相关参数。 其中，“问题描述”项请填写需要调整的内容和申请原因。 填写完毕后，勾选协议并单击“提交”。
如何获取AK/SK？ 访问密钥即AK/SK（Access Key ID/Secret Access Key），表示一组密钥对，用于验证调用API发起请求的访问者身份，与密码的功能相似。用户通过调用API接口进行云资源管理（如创建集群）时，需要使用成对的AK/SK进行加密签名，确保
功能描述 print connector用于将用户输出的数据打印到error文件或者taskmanager的out文件中，方便用户查看，主要用于代码调试，查看输出结果。 语法格式 1 2 3 4 5 6 7 create table printSink ( attr_name attr_type
查询作业详情 功能介绍 查看一个作业的详情信息。 调试 您可以在API Explorer中调试该接口。 URI URI格式 GET /v1.0/{project_id}/streaming/jobs/{job_id} 参数说明 表1 URI参数说明 参数名称 是否必选 参数类型 说明
"error_code": "AS.0001" } 其中，error_code表示错误码，error_msg表示错误描述信息。 父主题： 如何调用API
该场景作业需要运行在DLI的独享队列上，因此要与HBase建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。 若使用MRS HBase，请在增强型
该场景作业需要运行在DLI的独享队列上，因此要与HBase建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。 如果使用MRS HBase，请在增强
'hostname' = '192.168.12.148',--IP替换为RDS MySQL的实例IP 'port' = '3306',--端口替换为RDS MySQL的实例端口 'pwd_auth_name'= 'xxxxx', --DLI侧创建的Password类型的跨源认
配置Beeline通过Kyuubi连接DLI进行数据查询和分析 Beeline是数据分析师和数据工程师的重要工具之一，适用于大规模数据处理的场景。Beeline提供了的SQL引擎，使得用户可以使用SQL的语言来执行数据查询、数据分析和管理任务。 Kyuubi是一个分布式 SQL 查询引擎，它提供了标准的SQ
Content-Type: application/json X-Auth-Token: ABCDEFJ.... 您还可以通过这个视频教程了解如何使用Token认证：https://bbs.huaweicloud.com/videos/101333 。 AK/SK认证 AK/SK认证
"user_name":"Jason", "area_id":"330106"} 查看Elasticsearch端数据处理后的相应结果。 发送成功后，在CSS集群的Kibana中执行下述语句并查看相应结果： GET shoporders/_search 查询结果返回如下： { "took" : 0, "timed_out"
DLI支持将Flink作业数据输出到ClickHouse数据库中，表类型仅支持结果表。 ClickHouse是面向联机分析处理的列式数据库，支持SQL查询，且查询性能好，特别是基于大宽表的聚合分析查询性能非常优异，比其他分析型数据库速度快一个数量级。详细请参考ClickHouse组件操作。 表1 支持类别 类别 详情
库名，如“test2”，在创建的表“tabletest2”所在行的“操作”列，单击“SQL查询”。 在“SQL查询”界面，单击“执行SQL”，查看RDS表数据已写入成功。 图6 RDS表查询结果 父主题： 创建弹性资源池和队列
DLI如何访问OBS桶中的数据 创建OBS表。 具体语法请参考《数据湖探索SQL语法参考》。 添加分区。 具体语法请参考《数据湖探索SQL语法参考》。 往分区导入OBS桶中的数据。 具体语法请参考《数据湖探索SQL语法参考》。 查询数据。 具体语法请参考《数据湖探索SQL语法参考》。
名和IP，可指定端口。 数据源地址支持以下输入格式：IPv4地址、IPv4+端口号、域名、域名+端口号。 · IPv4地址：192.168.x.x · IPv4+端口号：192.168.x.x:8080 · 域名：domain-xxxxxx.com · 域名+端口号：domain-xxxxxx
跨源连接，打通网络。 步骤5：运行作业：DLI上创建和运行Flink OpenSource作业。 步骤6：发送数据和查询结果：Kafka上发送流数据，在RDS上查看运行结果。 步骤1：创建队列 登录DLI管理控制台，在左侧导航栏单击“资源管理 > 队列管理”，可进入队列管理页面。
数据写入OBS中，以便后面查看，可通过该参数配置，写入脏数据前需要先配置好OBS连接。这里保持默认值“否”即可，不记录脏数据。 单击“保存并运行”，回到作业管理界面，在作业管理界面可查看作业执行进度和结果。 图7 迁移作业进度和结果查询 步骤三：结果查询 CDM迁移作业运行完成后
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
