diff --git a/research/EDGE-V0.1功能说明.pdf b/research/EDGE-V0.1功能说明.pdf new file mode 100644 index 0000000..b998632 Binary files /dev/null and b/research/EDGE-V0.1功能说明.pdf differ diff --git a/research/flink.pdf b/research/flink.pdf new file mode 100644 index 0000000..f1ee3da Binary files /dev/null and b/research/flink.pdf differ diff --git a/research/flink框架学习-2.pdf b/research/flink框架学习-2.pdf new file mode 100644 index 0000000..1052017 Binary files /dev/null and b/research/flink框架学习-2.pdf differ diff --git a/research/动态数据解决方案.md b/research/动态数据解决方案.md new file mode 100644 index 0000000..90e92d7 --- /dev/null +++ b/research/动态数据解决方案.md @@ -0,0 +1,65 @@ +# 动态数据解决方案 + +目前本地化和平台的高频接入情况: + +## 案列1 海文铺前大桥 + +**ET降采样** 设备:光纤光栅 期望20Hz 实际 平台接入展示1分钟 + +![image-20210929172245766](C:\Users\yww08\AppData\Roaming\Typora\typora-user-images\image-20210929172245766.png) + +## 案例2 动态数据接入安心云平台 + +特征值存储, 动态数据按数组存储 + +![image-20210929172418700](C:\Users\yww08\AppData\Roaming\Typora\typora-user-images\image-20210929172418700.png) + +## 案列3 铁四院独立部署 + +光纤光栅300个设备10Hz连续接入,2.0本地化时序库版本 + +![image-20210929172519427](C:\Users\yww08\AppData\Roaming\Typora\typora-user-images\image-20210929172519427.png) + +## 说明 + ++ ### 降低采样频率 + + + 案例:高频本地化系统 + + 优:与普通数据一致,不需要作特殊处理 + + 劣:粒度丢失 + ++ ### 压缩展示 + + + 案例:目前振动接入平台方式;动应变接入 + + + 优:满足接入和绘图性能 + + + 劣:数据展示不够直接;延迟高(批次采集完后上报) + + 数据展示示例: + + ![image-20210929155520455](C:\Users\yww08\AppData\Roaming\Typora\typora-user-images\image-20210929155520455.png) + + ![image-20210929155743224](C:\Users\yww08\AppData\Roaming\Typora\typora-user-images\image-20210929155743224.png) + ++ ### 独立服务器 + 时序库 + + + 案例:铁四院独立部署 + + + 优:性能满足 + + + 劣:2.0架构。需独立部署时序数据库 + + 本地化展示方式,支持按聚集查询和实时粒度查询 + + + ++ ### 独立提取(附部分ET计算功能) + MQTT + HDFS文件存储 + 后端绘图 + + + 案例:无项目使用。定制化高频接入预研。 + + + 优:性能满足。后端python绘图,显示性能高 + + + 劣:较复杂:数据处理在下位机(边缘)。暂无项目应用 + + \ No newline at end of file diff --git a/research/安心云数据分析工具.md b/research/安心云数据分析工具.md index 089a108..ea93319 100644 --- a/research/安心云数据分析工具.md +++ b/research/安心云数据分析工具.md @@ -826,6 +826,8 @@ while True: 综合的2D图形包 + + - [![ipython](https://www.scipy.org/_static/images/ipython.png)](http://ipython.org/) #### [IPython](http://ipython.org/) @@ -844,5 +846,46 @@ while True: Data structures & analysis 数据结构化和分析工具 + Pandas有数据类型 Series / DataFrame + + pd.read_csv CSV《==》 DataFrame pd.to_csv + + pd.DataFrame(str) || pd.read_json(str) pd.read_json JSON <==> DataFrame + 数据DataFrame的简单操作: + + ```python + import pandas as pd + import numpy as np + data=pd.DataFrame(pd.read_csv('data.csv',encoding='gbk')) + data=data.sort_values('采集时间',ascending=True) + data.head(10) # 前10个 + data.loc[data['幅值(mv)']>220] # 过滤幅值大于220的 + data.loc[(data['幅值(mv)']>220) & (data['采集时间']>'2021-01-30 22:40:47'),['设备','采集时间','幅值(mv)']].head() + data['幅值(mv)'].sum() # count求和 mean平均 + + # 时间格式 + data['date']=pd.to_datetime(data['采集时间']) + + # 循环处理 + for x in data.index: + data.loc[x,'value'] + ``` + + JSON处理示例: + + ```python + import pandas as pd + import json + + # 使用 Python JSON 模块载入数据 + with open('nested_list.json','r') as f: + data = json.loads(f.read()) + + # 展平数据 + df_nested_list = pd.json_normalize(data, record_path =['students']) // students字段嵌套 + print(df_nested_list) + ``` + + diff --git a/research/数据湖2.pdf b/research/数据湖2.pdf new file mode 100644 index 0000000..fead1b0 Binary files /dev/null and b/research/数据湖2.pdf differ diff --git a/research/通过grpc实现go进程通信.pdf b/research/通过grpc实现go进程通信.pdf new file mode 100644 index 0000000..66c0ded Binary files /dev/null and b/research/通过grpc实现go进程通信.pdf differ