检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参考增强型跨源连接,在DLI上根据Doris所在的虚拟私有云和子网分别创建相应的增强型跨源连接,并绑定所要使用的Flink弹性资源池。参考“修改主机信息”章节描述,在增强型跨源中增加MRS的主机信息。 设置Doris的安全组,添加入向规则使其对Flink的队列网段放通。分别根据Doris的地址测试队列连通性。
fka数据库端口”,单击“测试”测试DLI到Kafka网络是否可达。 创建DLI连接DWS的增强型跨源连接 在DWS管理控制台,选择“集群管理”,单击已创建的DWS集群名称,进入到DWS的基本信息页面。 在“基本信息”的“数据库属性”中获取该实例的“内网IP”、“端口”,“基本信
在“队列管理”页面,选择需要测试地址连通性的队列,单击操作列下的“更多 > 测试地址连通性”。 在“测试地址连通性”页面填写需要测试的地址。支持域名和IP,可指定端口。 数据源地址支持以下输入格式:IPv4地址、IPv4+端口号、域名、域名+端口号。 · IPv4地址:192.168
什么是DLI分区表的列赋权? 用户无法对分区表的分区列进行权限操作。 当用户对分区表的任意一列非分区列有权限,则默认对分区列有权限。 当查看用户在分区表上的权限的时候,不会显示对分区列有权限。 父主题: DLI权限管理类
entrypoint 否 String 用户已上传到DLI资源管理系统的程序包名,用户自定义作业主类所在的jar包。 dependency_jars 否 Array of Strings 用户已上传到DLI资源管理系统的程序包名,用户自定义作业的其他依赖包。 dependency_files 否 Array
什么是数据倾斜? 数据倾斜是在SQL作业执行中常见的问题,当数据分布不均匀的情况下,一部分计算节点处理的数据量远大于其他节点,从而影响整个计算过程的处理效率。 例如观察到SQL执行时间较长,进入SparkUI查看对应SQL的执行状态,如图1所示,查看到一个stage运行时间超过20分钟且只
如何获取项目ID? 项目ID是系统所在区域的ID。用户在调用API接口进行云资源管理(如创建集群)时,需要提供项目ID。 查看项目ID步骤如下: 注册并登录华为云管理控制台。 将鼠标移动到右上角用户名上,在下拉列表中单击“我的凭证”。 在“我的凭证”页面的项目列表中查看项目ID。例如projec
IS 'comments' 描述 设置表的注释信息,可以通过设置注释信息为NULL来删除注释。 示例 修改表users的注释为“master table”,表的注释语句可以通过show create table tablename语句查看: COMMENT ON TABLE users
DLI支持将Flink作业数据输出到ClickHouse数据库中。ClickHouse是面向联机分析处理的列式数据库,支持SQL查询,且查询性能好,特别是基于大宽表的聚合分析查询性能非常优异,比其他分析型数据库速度快一个数量级。详细请参考ClickHouse组件操作。 前提条件 该
LI进行数据查询和分析 Superset是一个开源的数据探索和可视化平台,支持对数据进行快速、直观的探索,同时支持创建丰富的数据可视化和交互式仪表板。 Kyuubi是一个分布式 SQL 查询引擎,它提供了标准的SQL接口,使用户能够方便地访问和分析存储在大数据平台中的数据。 通过
赋权:用户可将数据库的权限赋予其他用户或项目。 回收:用户可回收其他用户或项目具备的此数据库的权限,但是不能回收数据库所有者的权限。 添加分区:在分区表中添加新的分区。 删除分区:删除分区表中已有的分区。 设置分区的路径:将分区表中的某个分区路径设置为用户指定的OBS路径。 重命名表分区:对分区表中的分区重新命名。
--testrdsdb为创建的RDS的数据库名,IP和端口替换为RDS MySQL的实例IP和端口 "table-name" = "clicktop", "pwd_auth_name"="xxxxx", --DLI侧创建的Password类型的跨源认证名称。使用跨源认证则无需在作业中配置账号和密码。
已创建CDM迁移集群。创建CDM集群的操作可以参考创建CDM集群。 如果目标数据源为云下的数据库,则需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP、CDM云上安全组出方向放通云下数据源所在的主机、数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 数据源为云上的MRS、DWS等服务时,网络互通需满足如下条件:
合规证书 华为云服务及平台通过了多项国内外权威机构(ISO/SOC/PCI等)的安全合规认证,用户可自行申请下载合规资质证书。 图1 合规证书下载 资源中心 华为云还提供以下资源来帮助用户满足合规性要求,具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书 另外,华为云还提
(partition_spec) 描述 查看指定表的元数据信息。该语法目前只能显示列的元数据信息,等效于语法SHOW COLUMNS。 添加EXTENDED关键字会将表的所有元数据信息以“Thrift”序列化的格式显示出来。 添加FORMATTED关键字会将表的元数据信息以表格的形式展示。 示例 显示fruit数据表的列信息:
检测跨源连接的连通性时对域名约束限制如下: 域名的限制长度为1到255的字符串,并且组成必须是字母、数字、下划线或者短横线。 域名的顶级域名至少包含两个及以上的字母,例如.com,.net,.cn等。 测试时域名后可选择添加端口,用":"隔开,端口最大限制为5位,端口范围:0~65535。 例如example.com:8080。
instant_time对应的commit所属的action类型,如compaction、deltacommit、clean等 partition_path 指定的instant所更新或插入的文件位于哪个分区 file_id 指定的instant所更新或插入的文件的ID previous_commit
检测跨源连接的连通性时对域名约束限制如下: 域名的限制长度为1到255的字符串,并且组成必须是字母、数字、下划线或者短横线。 域名的顶级域名至少包含两个及以上的字母,例如.com,.net,.cn等。 测试时域名后可选择添加端口,用":"隔开,端口最大限制为5位,端口范围:0~65535。 例如example.com:8080。
参考增强型跨源连接,在DLI上根据Doris所在的虚拟私有云和子网分别创建相应的增强型跨源连接,并绑定所要使用的Flink弹性资源池。参考“修改主机信息”章节描述,在增强型跨源中增加MRS的主机信息。 设置Doris的安全组,添加入向规则使其对Flink的队列网段放通。参考测试地址连通性分别根据Doris的地址测试队
instant 需要回滚的Hudi表的commit instant时间戳,必选 示例 call rollback_to_instant(table => 'h1', instant_time=>'20220915113127525'); 注意事项 只能依次回滚最新的commit时间戳,