学习内容补充

research/动态数据解决方案.md

@@ -0,0 +1,65 @@
+# 动态数据解决方案
+
+目前本地化和平台的高频接入情况：
+
+## 案列1 海文铺前大桥
+
+**ET降采样** 设备：光纤光栅 期望20Hz 实际 平台接入展示1分钟
+
+![image-20210929172245766](C:\Users\yww08\AppData\Roaming\Typora\typora-user-images\image-20210929172245766.png)
+
+## 案例2 动态数据接入安心云平台
+
+特征值存储， 动态数据按数组存储
+
+![image-20210929172418700](C:\Users\yww08\AppData\Roaming\Typora\typora-user-images\image-20210929172418700.png)
+
+## 案列3 铁四院独立部署
+
+光纤光栅300个设备10Hz连续接入，2.0本地化时序库版本
+
+![image-20210929172519427](C:\Users\yww08\AppData\Roaming\Typora\typora-user-images\image-20210929172519427.png)
+
+## 说明
+
++ ### 降低采样频率
+
+  + 案例：高频本地化系统
+  + 优：与普通数据一致，不需要作特殊处理
+  + 劣：粒度丢失
+
++ ### 压缩展示
+
+  + 案例：目前振动接入平台方式；动应变接入
+
+  + 优：满足接入和绘图性能
+
+  + 劣：数据展示不够直接；延迟高（批次采集完后上报）
+
+    数据展示示例：
+
+    ![image-20210929155520455](C:\Users\yww08\AppData\Roaming\Typora\typora-user-images\image-20210929155520455.png)
+
+    ![image-20210929155743224](C:\Users\yww08\AppData\Roaming\Typora\typora-user-images\image-20210929155743224.png)
+
++ ### 独立服务器 + 时序库
+
+  + 案例：铁四院独立部署
+
+  + 优：性能满足
+
+  + 劣：2.0架构。需独立部署时序数据库
+
+    本地化展示方式，支持按聚集查询和实时粒度查询
+
+    
+
++ ### 独立提取(附部分ET计算功能) + MQTT + HDFS文件存储 + 后端绘图
+
+  + 案例：无项目使用。定制化高频接入预研。
+
+  + 优：性能满足。后端python绘图，显示性能高
+
+  + 劣：较复杂：数据处理在下位机（边缘）。暂无项目应用
+
+    

research/安心云数据分析工具.md

@@ -826,6 +826,8 @@ while True:
 
   综合的2D图形包
 
+  
+
 - [![ipython](https://www.scipy.org/_static/images/ipython.png)](http://ipython.org/)
 
   #### [IPython](http://ipython.org/)
@@ -844,5 +846,46 @@ while True:
 
   Data structures & analysis 数据结构化和分析工具
 
+  Pandas有数据类型 Series / DataFrame 
+
+  pd.read_csv  CSV《==》 DataFrame  pd.to_csv
+
+  pd.DataFrame(str) || pd.read_json(str) pd.read_json JSON <==> DataFrame
 
+  数据DataFrame的简单操作：
+
+  ```python
+  import pandas as pd
+  import numpy as np
+  data=pd.DataFrame(pd.read_csv('data.csv',encoding='gbk'))
+  data=data.sort_values('采集时间',ascending=True)
+  data.head(10) # 前10个
+  data.loc[data['幅值(mv)']>220] # 过滤幅值大于220的
+  data.loc[(data['幅值(mv)']>220) & (data['采集时间']>'2021-01-30 22:40:47'),['设备','采集时间','幅值(mv)']].head()
+  data['幅值(mv)'].sum() # count求和 mean平均 
+  
+  # 时间格式
+  data['date']=pd.to_datetime(data['采集时间'])
+  
+  # 循环处理
+  for x in data.index:
+      data.loc[x,'value']
+  ```
+
+  JSON处理示例：
+
+  ```python
+  import pandas as pd
+  import json
+  
+  # 使用 Python JSON 模块载入数据
+  with open('nested_list.json','r') as f:
+      data = json.loads(f.read())
+  
+  # 展平数据
+  df_nested_list = pd.json_normalize(data, record_path =['students']) // students字段嵌套 
+  print(df_nested_list)
+  ```
+
+