课题任务

课题任务 幻灯模式阅读 105 评论(0) 分享：

bzlu 2020-01-15 16:55:22

# 拟定课题

## 吕敏瑞 课题计划
### 毕业设计
（1） 半导体模拟
- 学习FEM、有限体方法，以及常用半导体的DD模型（PNP），完成一个PN结的有限体方法的DD模型模拟任务。有限体网格基于FEM的四面体网格重构。
- 或者，学习 Sentaurus软件及其网格结构和网格生成方法。
- 方式：在博士生指导下

（2） 分子几何研究
- 定任意蛋白质分子及其表面三角化网格，快速找出其所有的空腔、通道、坑道等，并在所在区域的附近表面做标记。

!vism 5a5f45a74f022e4c57b1b363
=!= ** Surface mesh of molecule 1MAG**

- 方式：介绍前期相关工作和软件后，基本独立进行

（3）机器学习相关
- 针对我们现有的一个项目，视频中的行为分析，我们已有一套机器学习的分析流程，但有几个步骤需要研究改进，i）一个是为减少视频中的图片存储量，可以考虑设计算法，快速检测有动作变化的图片，把这些存下来分析就行了，中间没变化的视频帧大多可以扔掉； ii）对视频截出的帧做时间空间关联分析，提高动作行为分析的准确度；iii）对现有神经网络（主要是目标检测的网络），在特定场景下应用时进行改造压缩并保持精度，从而加快计算速度，提高硬件执行效率，降低应用成本；iv）在目标识别中（行为分析），快速有效计算、提取、和分析应用目标的特征点，提高识别的准确性和识别功能的丰富性。
- 方式：掌握python，了解一下机器学习的原理，研究上面一个问题就行。已具备我们自己的数据，师兄可指导。

!page

##=!= 行为身份识别（步态识别）的一个想法

- 问题： 通过动作特点能识别识别身份吗（区分个体，个人的唯一性标示特征，fingerprint）？如果能，怎么样做？

- 考虑可能性：整体协同的动作频谱，方向，速度，滞后性，等，加上体型特征，速度场等等...

- 方案流程：
(1) 大销量学习视频（Google 手术机器人）
(2) 提取人体关键点 --> 相关性分析，提取特征（本征值，本征矢等） --> 分类网络训练
(3) 图像分割后像素点的分布特点和时间序列

### 相关性分析 方案

- $$N$$ 个关键点坐标： 3维实体 $$r(t) \in R^{3N} $$， 2维图像 $$r(t) \in R^{2N} $$，$$t\in [0,T]$$

- 构造运动的协方差矩阵 $$A$$:
```math
A_{ij}= \frac{E_t [(r_i(t) - \bar r_i)\cdot (r_j(t) - \bar r_j)]}{\sigma_i \sigma_j} 
```

Where the time-average means $$E_t[f(t)] = \sum_{k=0}^L f_k$$, supposing  $$T=L\delta t $$ and $$\delta t$$ is time step.

另外，为了考虑运动的滞后关联性，更一般地定义 时间滞后 协方差矩阵 $$ A^M=A(M\delta t)$$:

```math
A_{ij}^M= \frac{E_t [(r_i(t) - \bar r_i)\cdot (r_j(t+M\delta t) - \bar r_j)]}{\sigma_i \sigma_j}
```

然后，计算特征值 $$\lambda_i^M$$ 及其相应特征矢量 $$v_i$$ 
```math
A v_i = \lambda _i^M v_i
```
（要求 $$|v_i|=1$$ ？）

开始定义的协方差矩阵$$A$$ 可以作为这里$$M=0$$ 时特殊情况。

$$v_i$$方向运动的频率记为 $$\omega_i^M=\sqrt{\lambda_i^M}$$

- 构造行为ID 识别特征空间 $$\Lambda^{M,K}_T $$
```math
\Lambda^{M,K}_T =\{ \{ \omega_k^0 , v_k^0 \}_{k=1}^K,\{ \omega_k^M , v_k^M \}_{k=1}^K, \{ \omega_k^{2M} , v_k^{2M} \}_{k=1}^K,...  \}
```

对于视频来说，$$T,M,K$$ 都是可调参数。

**问题：** 对应一个运动模式的动作幅度在哪里？（类似于FFT的系数？）

** （1）其它组合方式，（2）也可以加入其它特征一起，（3）归一化等的考虑 ！**

- **ID 识别训练**
对 $$\Lambda $$ 聚类，或者构造分类网络，对 特征时间序列 分类： 可对 公共数据集，也可对我们的课堂数据训练和测试。

- 因为特征（包括其它特征）、参数取法和组合方式较多，可考虑设计机器学习的方法来学习参数 --- 用 机器学习来训练机器学习 ！

**Refs.：**
Hünenberger PH1, Mark AE, van Gunsteren WF., Fluctuation and cross-correlation analysis of protein motions observed in nanosecond molecular dynamics simulations, J Mol Biol. 1995 Sep 29;252(4):492-503.