|
|
|
|
# et-go
|
|
|
|
|
|
|
|
|
|
et-go
|
|
|
|
|
20240919重建gitea项目
|
|
|
|
|
|
|
|
|
|
## 功能描述
|
|
|
|
|
对标东江平台本地化et, 旨在使用golang进行改写,提高et数据处理能力
|
|
|
|
|
et-go采用主副节点模式: 一主多从，进行数据处理。
|
|
|
|
|
主节点负责订阅kafka数据，node节点负责实际的数据处理流程
|
|
|
|
|
node节点上线后,会自动按照配置文件里面的node.remoteMasterHost 地址,向master节点注册
|
|
|
|
|
node节点退出下线时,会向master节点注销
|
|
|
|
|
## 部署
|
|
|
|
|
### 部署信息
|
|
|
|
|
1. 使用yaml启动
|
|
|
|
|
2. yaml 包含三部分:
|
|
|
|
|
- StatefulSet: et主副节点控制，最少副本数=2 (即 1个master,1个node),
|
|
|
|
|
多开比如设置 副本数=3 (即 1个master,2个node),以此类推 <img src="README_files/状态集副本数设置2及以上.png">
|
|
|
|
|
- Service: 主要用于master的注册服务(目前只有node 使用)
|
|
|
|
|
- ConfigMap: 配置文件挂载(master,node共用)
|
|
|
|
|
### 部署方式:
|
|
|
|
|
microk8s 部署参考
|
|
|
|
|
<img src="README_files/microk8s部署.png" alt="microk8s部署">
|
|
|
|
|
#### microk8s 部署
|
|
|
|
|
- 镜像格式 ： registry.ngaiot.com/local/git-etgo:28
|
|
|
|
|
- jenkins ： https://jenkins.ngaiot.com/job/git-etgo/
|
|
|
|
|
- yaml : https://gitea.ngaiot.com/DevOps/et-go/src/branch/dev/build/etgo.yaml
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
#### 运行信息参考
|
|
|
|
|
mater节点 et-0
|
|
|
|
|
<img src="README_files/演示运行et-0.png">
|
|
|
|
|
node节点 et-1
|
|
|
|
|
<img src="README_files/演示运行et-1.png">
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
## 涉及变更
|
|
|
|
|
### 前端公式保存
|
|
|
|
|
测点信息的配置保存 新增 formula_id 列
|
|
|
|
|
<font color="red">**前端保存测点时，需要存储测点公式id**</font>
|
|
|
|
|
涉及语句:
|
|
|
|
|
ALTER TABLE "t_device_sensor" ADD COLUMN formula_id INTEGER;
|
|
|
|
|
<img src="README_files/t_device_sensor添加列formula_id.png">
|
|
|
|
|
|
|
|
|
|
### influxDB存储
|
|
|
|
|
数据存储分为三个bucket 功能和es 数据对应
|
|
|
|
|
- raw 存储设备数据 以 deviceId 作为measurement
|
|
|
|
|
- theme 存储测点数据 以 facotr_${facotrId} 作为measurement,如factor_15
|
|
|
|
|
- vib 存储振动数据 以 deviceId 作为measurement
|
|
|
|
|
<img src="README_files/时序库bucket.png">
|
|
|
|
|
|
|
|
|
|
### 测点数据推送
|
|
|
|
|
- MQTT方式:
|
|
|
|
|
topic 主题格式: etpush/${structId}/${stationId}
|
|
|
|
|
如：etpush/1/40
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
- kafka方式
|
|
|
|
|
topic 主题格式: etpush
|
|
|
|
|
|
|
|
|
|
body 内容格式:
|
|
|
|
|
包含测点id,名称,数据,时间
|
|
|
|
|
```json
|
|
|
|
|
{
|
|
|
|
|
"id": 40,
|
|
|
|
|
"name": "DJ-DIS-B01-002-01",
|
|
|
|
|
"data": {
|
|
|
|
|
"displacement": -11.2766
|
|
|
|
|
},
|
|
|
|
|
"collect_time": "2024-07-19T16:00:00.00128681+08:00"
|
|
|
|
|
}
|
|
|
|
|
```
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
