et-go 20240919重建
You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
 
 
yfh 5c76df3063 沉降级联分组计算 1 month ago
README_files update 去掉空格 1 month ago
build update 更新基础镜像到7 关联了sh 1 month ago
containerApp models v0.0.7 -> v0.0.10; utils v0.0.7->v0.0.8 1 month ago
dataSource 聚集数据阈值分析 1 month ago
et_Info models v0.0.7 -> v0.0.10; utils v0.0.7->v0.0.8 1 month ago
et_analyze 聚集数据阈值分析 1 month ago
et_cache models v0.0.7 -> v0.0.10; utils v0.0.7->v0.0.8 1 month ago
et_calc 沉降级联分组计算 1 month ago
et_print update 调整go sdk =》1.23.1 用以解决 time.after的 内存泄漏 1 month ago
et_prometheus_exporter models v0.0.7 -> v0.0.10; utils v0.0.7->v0.0.8 1 month ago
et_push models v0.0.7 -> v0.0.10; utils v0.0.7->v0.0.8 1 month ago
et_sink models v0.0.7 -> v0.0.10; utils v0.0.7->v0.0.8 1 month ago
master models v0.0.7 -> v0.0.10; utils v0.0.7->v0.0.8 1 month ago
node 沉降级联分组计算 1 month ago
script 重建 et-go 1 month ago
.gitignore Initial commit 1 month ago
LICENSE Initial commit 1 month ago
README.md 更新 'README.md' 1 month ago
config.yaml update 调整go sdk =》1.23.1 用以解决 time.after的 内存泄漏 1 month ago
go.work models v0.0.7 -> v0.0.10; utils v0.0.7->v0.0.8 1 month ago

README.md

et-go

et-go 20240919重建gitea项目

功能描述

对标东江平台本地化et, 旨在使用golang进行改写,提高et数据处理能力 et-go采用主副节点模式: 一主多从,进行数据处理。 主节点负责订阅kafka数据,node节点负责实际的数据处理流程
node节点上线后,会自动按照配置文件里面的node.remoteMasterHost 地址,向master节点注册
node节点退出下线时,会向master节点注销

部署

部署信息

  1. 使用yaml启动
  2. yaml 包含三部分:
  • StatefulSet: et主副节点控制,最少副本数=2 (即 1个master,1个node), 多开比如设置 副本数=3 (即 1个master,2个node),以此类推
  • Service: 主要用于master的注册服务(目前只有node 使用)
  • ConfigMap: 配置文件挂载(master,node共用)

部署方式:

microk8s 部署参考 microk8s部署

microk8s 部署

运行信息参考

mater节点 et-0 node节点 et-1

涉及变更

前端公式保存

测点信息的配置保存 新增 formula_id 列
前端保存测点时,需要存储测点公式id
涉及语句:
ALTER TABLE "t_device_sensor" ADD COLUMN formula_id INTEGER;

influxDB存储

数据存储分为三个bucket 功能和es 数据对应

  • raw 存储设备数据 以 deviceId 作为measurement
  • theme 存储测点数据 以 facotr_${facotrId} 作为measurement,如factor_15
  • vib 存储振动数据 以 deviceId 作为measurement

测点数据推送

  • MQTT方式:
    topic 主题格式: etpush/${structId}/${stationId}
    如:etpush/1/40

  • kafka方式 topic 主题格式: etpush

body 内容格式:
包含测点id,名称,数据,时间

{
    "id": 40,
    "name": "DJ-DIS-B01-002-01",
    "data": {
        "displacement": -11.2766
    },
    "collect_time": "2024-07-19T16:00:00.00128681+08:00"
}