检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在本地Windows环境中调测HetuEngine应用 操作场景 在程序代码完成开发后，可以在Windows环境下进行编译，本地和集群业务平面网络互通时，您可以直接在本地进行调测。 操作步骤 在Windows环境下的Intellij IDEA开发环境中，单击IDEA右侧Maven导入依赖。
的成本开销 简化云存储和对象存储接入 简化数据管理，提供对多数据源的单点访问 应用程序部署简易 有关Alluxio的详细信息，请参见：https://docs.alluxio.io/os/user/stable/cn/Overview.html。 父主题： 组件介绍
参数优化部分适配于MRS 3.2.0及以后版本。 该规范中与开源社区不一致的点，以本文档为准。 参考资料 Flink开源社区开发文档：https://nightlies.apache.org/flink/flink-docs-stable/。 父主题： Flink应用开发规范
简化数据管理，提供对多数据源的单点访问 应用程序部署简易 Alluxio 接口开发简介 Alluxio支持使用Java进行程序开发，具体的API接口内容请参考https://docs.alluxio.io/os/javadoc/2.0/index.html。 父主题： Alluxio应用开发概述
配置Hive插入数据到不存在的目录中 配置创建Hive内部表时不能指定Location 配置用户在具有读和执行权限的目录中创建外表 配置基于HTTPS/HTTP协议的REST接口 配置Hive Transform功能开关 切换Hive执行引擎为Tez Hive负载均衡 配置Hive单表动态视图的访问控制权限
选择集群工作区域下关联的可用区。 虚拟私有云 vpc-default 选择需要创建集群的VPC，单击“查看虚拟私有云”进入VPC服务查看已创建的VPC名称和ID。如果没有VPC，需要创建一个新的VPC。 子网 subnet-default 选择需要创建集群的子网，可进入VPC服务查看VPC下已创建的子网名称
120 INFO [main] 1.Get http client for sending https request, username is admin, webUrl is https://10.112.16.93:28443/web/. basicAuth.BasicAuthAccess
120.16.170";[2] String securityModeUrl = new StringBuilder("https://").append(restHostName).append(":21309").toString(); String
环境，并需要安装python环境，安装包下载详情请参见：https://www.python.org/。当前以在集群的master节点上运行样例为例。 搭建样例运行环境。 获取运行样例程序时python依赖，请从https://pypi.org/地址中搜索下载decorator、
tsd_protocol = https tsd_hostname ： 访问OpenTSDB时所连接的TSD实例主机名称。 tsd_port：访问OpenTSDB的端口，默认端口为4242。 tsd_protocol：访问OpenTSDB的请求协议。默认为https。 运行样例。 开发完
使用CDL同步openGauss数据到Hudi（ThirdKafka） 操作场景 本章节指导用户通过MRS 3.2.0版本开启Kerberos认证的集群的CDLService WebUI界面，从ThirdKafka导入openGauss数据到Hudi。 前提条件 集群已安装CDL、Hudi服务且运行正常。
使用CDL同步drs-oracle-avro数据到Hudi（ThirdKafka） 操作场景 本章节指导用户通过开启Kerberos认证的集群的CDLService WebUI界面从ThirdKafka导入drs-avro-oracle数据库数据到Hudi。 该章节内容适用于MRS
与ZooKeeper服务端的session（0x164cb2b3e4b36ae4）不一致的问题，导致NameNode备节点的watcher没有感知到自己已经成功建立临时节点，依然认为自己还是备。 而NameNode主节点启动后，发现/hadoop-ha/hacluster目录下已
security.credentials.hbase.enabled”设置为“true”（该参数值默认为“false”，改为“true”后对已有业务没有影响。如果要卸载HBase服务，卸载前请将此参数值改回“false”）。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“
security.credentials.hbase.enabled”设置为“true”（该参数值默认为“false”，改为“true”后对已有业务没有影响。如果要卸载HBase服务，卸载前请将此参数值改回“false”），将配置项“spark.inputFormat.cache.enabled”设置为“false”。
part过多，merge压力变大，甚至出现异常影响数据插入； 数据的一致性问题：数据先在分布式表写入节点的主机落盘，然后数据被异步地发送到本地表所在主机进行存储，中间没有一致性的校验，如果分布式表写入数据的主机出现异常，会存在数据丢失风险； 对于数据写分布式表和数据写本地表相比，分布式表数据写入性能也会变慢
据写入Elasticsearch的功能。 Flink支持1.12.0及以后版本，Elasticsearch支持7.x及以后版本但不支持HTTPS的Elasticsearch集群。 数据规划 如果使用自定义数据源，需保证源端集群和目标端之间网络端口通信正常。 如果使用Kafka，M
约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 请求参数 无 响应参数 无 请求示例 删除作业执行对象请求示例 DELETE https://{endpoint}/v1.1/{project_id}/job-executions/{job_execution_id} 响应示例
“我的凭证”。 单击“访问密钥”页签，您可以在访问密钥列表中查看访问密钥ID（AK），在下载的.csv文件中查看秘密访问密钥（SK）. 若没有可用的访问密钥，需单击“新增访问密钥”，输入验证码或密码。单击“确定”，生成并下载访问密钥。 请及时下载保存，弹窗关闭后将无法再次获取该密钥信息，但您可重新创建新的密钥。
其中1和2都是集群内部Controller与Broker间、Broker与Broker间的操作，创建集群时，默认授予内置kafka用户此权限，普通用户授予此权限没有意义。 3涉及Acl的管理，Acl设计的就是用于鉴权，由于目前kafka鉴权已全部托管给Ranger，所以这个场景也基本不涉及（配置后亦不生效）。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
