检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
应用场景 本章节适用于将线下IDC机房或者公有云HBase集群中的数据(支持数据量在几十TB级别或以下的数据量级)迁移到华为云MRS服务。 本章节以通过华为云CDM服务 2.9.1.200版本进行数据迁移为例介绍。不同版本操作可能有差异,具体操作详情以实际版本对应的操作指导为准。
语言进行开发,可使用IntelliJ IDEA工具开发。 Kafka的运行环境即Kafka客户端,请根据指导完成客户端的安装和配置。 准备本地应用开发环境 准备连接集群配置文件 应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,配置文件通常包括集群组件信息文件以
荐使用IDEA工具,请根据指导完成不同语言的开发环境配置。Flink的运行环境即Flink客户端,请根据指导完成客户端的安装和配置。 准备本地应用开发环境 准备工程 Flink提供了样例程序,您可以导入样例工程进行程序学习。或者您可以根据指导,新建一个Flink工程。 导入并配置Flink样例工程
iew可以定位其在哪一个物理节点上。 CacheCore 提供数据读取,分片查询、数据预取、缓存淘汰功能。 LocalStore 提供管理本地SSD中缓存数据的读和写功能。 RemoteStore 提供访问OBS服务器的接口,同时内部支持通过流控机制控制预取带宽。 CM(Cluster
语言进行开发,可使用IntelliJ IDEA工具开发。 Kafka的运行环境即Kafka客户端,请根据指导完成客户端的安装和配置。 准备本地应用开发环境 准备连接集群配置文件 应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,配置文件通常包括集群组件信息文件以
荐使用IDEA工具,请根据指导完成不同语言的开发环境配置。Flink的运行环境即Flink客户端,请根据指导完成客户端的安装和配置。 准备本地应用开发环境 准备连接集群配置文件 准备工程 Flink提供了样例程序,您可以导入样例工程进行程序学习。或者您可以根据指导,新建一个Flink工程。
产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 Local DBService HA Name 本地DBService HA名称。 Peer DBService HA Name 对端DBService HA名称。 对系统的影响 DBSer
产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 Local Manager HA Name 本地Manager HA名称。 Peer Manager HA Name 对端Manager HA名称。 对系统的影响 备Manager的配置
wordcount01文件系统文件夹列表 program:存放用户程序 input:存放用户数据文件 进入program文件夹,选择“上传文件 > 添加文件”,从本地选择1中下载的程序包,然后单击“上传”,上传完成后如图2所示。 图2 程序列表 进入input文件夹,将2中准备的数据文件上传到input文件夹,上传完成后如图3所示。
wordcount01文件系统文件夹列表 program:存放用户程序 input:存放用户数据文件 进入program文件夹,选择“上传文件 > 添加文件”,从本地选择1中下载的程序包,然后单击“上传”,上传完成后如图2所示。 图2 程序列表 进入input文件夹,将2中准备的数据文件上传到input文件夹,上传完成后如图3所示。
setJarByClass(Class< > cls) 核心接口,指定执行类所在的jar包本地位置。java通过class文件找到执行jar包,该jar包被上传到HDFS。 setJar(String jar) 指定执行类所在的jar包本地位置。直接设置执行jar包所在位置,该jar包被上传到HDFS。与
只有“Avro”类型的Source才有此配置项 true表示启用 false表示不启用 false 单击“导出”,将配置文件“properties.properties”保存到本地。 将“properties.properties”文件上传到Flume客户端安装目录下的“flume/conf/”下。 配置Flume角
--windowTime 2 “log1.txt”、“log2.txt”放置在本地时,需放在每个部署了Yarn NodeManager实例的节点上,权限为755。 表1 参数说明 参数名称 说明 <filePath> 指本地文件系统中文件路径,每个节点都需要放一份/opt/log1.txt和/opt/log2
defined in file libcrypto.so.1.1” 用户问题 更换HA证书时,执行sh ${OMS_RUN_PATH}/workspace/ha/module/hacom/script/gen-cert.sh --root-ca --country=CN --state=state
EA工具,请根据指导完成不同语言的开发环境配置。Spark的运行环境即Spark客户端,请根据指导完成客户端的安装和配置。 准备Spark本地应用开发环境 准备连接集群配置文件 应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,配置文件通常包括集群组件信息文件以
有文件系统,需要用hadoop fs下载。 例如,执行以下命令将“obs://yourbucket/myfile.tar.gz”文件下载到本地,并解压到“/your-dir”目录下: source /opt/Bigdata/client/bigdata_env;hadoop fs
全部配置”,修改以下参数。 参数 值 参数说明 merge_tree_metadata_cache.continue_if_corrupted true 表示当本地的RocksDB目录读取失败时,false表示用户可选择退出进程,true表示清空脏数据。 merge_tree_metadata_cache
已删除的行会立即标记为已删除,并将自动从所有后续查询中过滤掉。数据清理在后台异步发生。此功能仅适用于MergeTree表引擎系列; 当前能力只支持本地表和复制表的轻量化删除功能,分布式表暂不支持。 数据删除功能的执行性能还依赖merge和mutation(alter table upda
已安装客户端时编译并运行程序 进入样例工程本地根目录,在Windows命令提示符窗口中执行下面命令进行打包。 mvn -s "{maven_setting_path}" clean package 上述打包命令中的{maven_setting_path}为本地Maven的“settings.xml”文件路径。
选择推荐的JDK版本,单击“Finish”完成导入。 以在Windows环境下开发SpringBoot方式连接Doris服务的应用程序为例。 需在本地环境变量中设置环境变量DORIS_MY_USER和DORIS_MY_PASSWORD,建议密文存放,使用时解密,确保安全。其中: DORI