检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
调测IoTDB应用 在本地Windows环境中调测IoTDB应用 在Linux中调测JDBC或Session应用 在Flink WebUI和Linux中调测Flink应用 在Linux环境中调测Kafka应用 在IoTDBServer节点调测UDF应用 父主题: IoTDB开发指南
在本地执行应用程序,一般用来测试 * 命令行方式和远程方式安全和普通模式都支持 * 本地提交仅支持普通模式 * * 用户同时只能选择一种任务提交方式,默认命令行方式提交,如果是其他方式
在本地执行应用程序,一般用来测试 * 命令行方式和远程方式安全和普通模式都支持 * 本地提交仅支持普通模式 * * 用户同时只能选择一种任务提交方式,默认命令行方式提交,如果是其他方式
调测Hive应用 在本地Windows环境中调测Hive JDBC样例程序 在Linux环境中调测Hive JDBC样例程序 调测Hive HCatalog样例程序 调测Hive Python样例程序 调测Hive Python3样例程序 调测Hive SpringBoot样例程序
File Channel File Channel使用本地磁盘作为缓存区,Events存放在设置的“dataDirs”配置项文件夹中。
场景一:准备本地Windows开发环境调测程序所需配置文件。
File Channel File Channel使用本地磁盘作为缓存区,Events存放在设置的“dataDirs”配置项文件夹中。
查看MRS集群日志 MRS集群日志概述 查看MRS云服务操作日志 查看历史MRS集群信息 查看MRS集群审计日志 查看MRS组件角色实例日志 在线检索MRS集群日志 下载MRS集群日志 采集MRS集群服务堆栈信息 配置MRS组件默认日志级别与归档文件大小 配置MRS集群审计日志本地备份数
在本地将下载后的csv文件使用Excel文本打开,按照样例程序中定义的字段为每列数据进行分类,得到如下图所示作业执行结果。 图6 执行结果 父主题: 数据分析
准备本地应用开发环境 准备连接集群配置文件 应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,配置文件通常包括集群组件信息文件以及用于安全认证的用户文件,可从已创建好的MRS集群中获取相关内容。
准备本地应用开发环境 准备连接集群配置文件 应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,配置文件通常包括集群组件信息文件以及用于安全认证的用户文件,可从已创建好的MRS集群中获取相关内容。
在MemArtsCC集群上一个服务实例称为Worker,对于OBS上的对象数据,Worker缓存其中部分或全部分片到本地的持久化存储(SSD/HDD)中。
10.0])),(map(array['banana'],array[7.0]))) as t(x);-- {banana=10.0} multimap_agg(key, value) -> map(K, array(V)) 描述:返回一个由输入key、value键值对组成的多重映射
HBase企业级能力增强 配置HBase全局二级索引提升查询效率 配置HBase本地二级索引提升查询效率 增强HBase BulkLoad工具数据迁移能力 使用Spark BulkLoad工具同步数据到HBase表中 配置HBase冷热分离 配置RSGroup管理RegionServer
新建Flink Jar作业 单击“选择”,上传本地Jar文件,并参考表2配置参数或添加自定义参数。 表2 参数配置 参数名称 参数描述 本地jar文件 上传jar文件。直接上传本地文件,大小不能超过10M。 Main Class Main-Class类型。
参考配置华为开源镜像仓章节描述,增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。
本地打开用户自定义配置文件properties.properties,搜索配置文件中是否有“type = avro”关键字确认Flume Source是否是avro类型。 是,执行8。 否,执行11。
参考配置华为开源镜像仓章节描述,增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。
kinit MRS集群用户 例如,kinit admin 准备输入文件,将本地数据复制到Alluxio文件系统中。 如在本地/home目录下准备一个输入文件test_input.txt,然后执行如下命令,将test_input.txt文件放入Alluxio中。
路径可以是OBS文件系统的路径或虚拟机本地的路径。 OBS文件系统的路径,必须以obs://开头,以.sh结尾。例如:obs://mrs-samples/xxx.sh 虚拟机本地的路径,脚本所在的路径必须以‘/’开头,以.sh结尾。 说明: 同一集群内,不允许配置相同的路径。