检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
导入并配置IoTDB样例工程 根据业务场景开发程序 提供了Java语言的样例工程,包含JDBC和Session两种连接方式,从创建存储组、创建时间序列,到插入数据再到删除存储组全流程的样例工程。 开发IoTDB应用 编译并运行程序 指导用户将开发好的程序编译并提交运行。 调测IoTDB应用 父主题:
启动指定个数Consuemr线程来消费 // 注意:当该参数大于待消费Topic的Partition个数时,多出的线程将无法消费到数据 for (int threadNum = 0; threadNum < CONCURRENCY_THREAD_NUM; threadNum++)
该任务指导用户通过Hue界面提交Streaming类型的Oozie作业。 操作步骤 创建工作流,请参考使用Hue创建工作流。 在工作流编辑页面,选择“数据流”按钮,将其拖到操作区中。 在弹出的“Streaming”窗口中配置“Mapper”的值,例如“/bin/cat”。配置“Reducer
total_records_written 该文件中新插入了多少个record total_bytes_written 该文件新增多少bytes的数据 total_errors 指定的instant在更新或者插入过程中的报错 file_size 该文件的大小(bytes) 系统响应 可在客户端中查看查询结果。
cleanupDBService.log 卸载日志(需执行DBService卸载日志操作) componentUserManager.log 数据库用户添加删除操作日志 (需添加依赖DBService的服务) install.log 安装日志 preStartDBService.log
”。 单击“确定”完成安全组规则添加。 通过云专线访问FusionInsight Manager 操作前请确保云专线服务可用,并已打通本地数据中心到线上VPC的连接通道。云专线详情请参考什么是云专线。 登录MRS管理控制台。 单击集群名称进入集群详情页。 在集群详情页面的“概览”页签,单击“集群管理页面”右侧的“前往
1048576 设置单个HDFS目录下最大可容纳的文件数目。保存修改的配置。保存完成后请重新启动配置过期的服务或实例以使配置生效。 用户尽量将数据做好存储规划,可以按时间、业务类型等分类,不要单个目录下直属的文件过多,建议使用默认值,单个目录下约100万条。 父主题: 使用HDFS
1048576 设置单个HDFS目录下最大可容纳的文件数目。保存修改的配置。保存完成后请重新启动配置过期的服务或实例以使配置生效。 用户尽量将数据做好存储规划,可以按时间、业务类型等分类,不要单个目录下直属的文件过多,建议使用默认值,单个目录下约100万条。 父主题: 使用HDFS
单击HBase,进入“HBase Browser”页面。 单击右侧“新建表”按钮,输入表名和列族参数,单击“提交”,完成HBase表创建。 图1 新建表 查询HBase表数据 访问Hue WebUI。 单击HBase,进入“HBase Browser”页面。 单击需要查询的HBase表。可在上方的搜索栏后单击键值,对HBase表进行查询。
string 否 空字符串 被拼接字段名 配置需要被拼接字段名。 字段名:需填写上一个转换步骤生成的字段名,可添加多个。 map 是 无 数据处理规则 按顺序将“被拼接字段名”中配置的字段的值,通过连接符拼接后,赋给“输出字段名”。 当有字段的值为null时,会转化为空字符串,再与其他字段值拼接。
验证作业执行结果: FlinkIoTDBSink执行结果验证: 在IoTDB客户端执行以下命令,查看数据是否已经从Flink写入到IoTDB中。 select * from root.sg.d1 图4 查看写入的数据内容 FlinkIoTDBSource执行结果验证: 使用运行用户登录FusionInsight
启动指定个数Consuemr线程来消费 // 注意:当该参数大于待消费Topic的Partition个数时,多出的线程将无法消费到数据 for (int threadNum = 0; threadNum < CONCURRENCY_THREAD_NUM; threadNum++)
启动指定个数Consuemr线程来消费 // 注意:当该参数大于待消费Topic的Partition个数时,多出的线程将无法消费到数据 for (int threadNum = 0; threadNum < CONCURRENCY_THREAD_NUM; threadNum++)
datasource.write.recordkey.field 必填 表的主键。 根据实际填写 write.precombine.field 必填 数据合并字段。 根据实际填写 read.tasks 选填 读Hudi表task并行度,默认值为4。 4 read.streaming.enabled
sqoop2-shell有两种获取登录认证信息的方式,第一种通过配置文件获取,具体配置项请参考使用sqoop-shell工具导入数据到HDFS、使用sqoop-shell工具导入数据到HBase;第二种方式则使用参数直接提供认证信息,这个方式有两种模式:密码模式和Kerberos认证模式。 进入交互模式命令
进程运行异常日志。 supervisor.log 进程启动日志。 supervisor.out.log 进程启动异常日志。 dbDetail.log 数据库初始化日志 initSecurityDetail.log keytab文件下载初始化日志。 postinstallDetail.log Hue服务安装后工作日志。
alter table. java.net.SocketTimeoutException: Read timed out Metastore元数据JDBC连接超时,默认60ms。 调大javax.jdo.option.ConnectionURL中socketTimeout=60000,仍然产生最初的报错:
ClickHouse在使用过程中,如表创建、插入或删除表数据等操作时,ClickHouse会在ZooKeeper的节点中创建znode,随着业务量的增加该znode实际数量可能会超过配置的阈值。 ClickHouse在ZooKeeper上的元数据目录/clickhouse未设置有效的配额限制。
需要修改该限制。 处理步骤 以root用户登录集群任意一个Master节点,并执行su - omm命令切换到omm用户。 执行如下命令登录数据库。命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 gsql -p 20051
action是否正常。因为当长时间不做compaction时list性能会变差。 在事实表与维度表关联场景中可以按表设置TTL降低状态后端数据量 具体使用指导参考通过表级TTL进行状态后端优化。 合理设置并行度 任务运行的速度和并行度相关,一般来说提升并行度能有效提升读取的速度,