课题任务

课题任务 幻灯模式阅读 503 评论(0) 分享：

bzlu 2020-03-09 14:38:45

# 拟定课题

## 吕敏瑞 课题计划
### 毕业设计
（1） 半导体模拟
- 学习FEM、有限体方法，以及常用半导体的DD模型（PNP），完成一个PN结的有限体方法的DD模型模拟任务。有限体网格基于FEM的四面体网格重构。
- 或者，学习 Sentaurus软件及其网格结构和网格生成方法。
- 方式：在博士生指导下

（2） 分子几何研究
- 定任意蛋白质分子及其表面三角化网格，快速找出其所有的空腔、通道、坑道等，并在所在区域的附近表面做标记。

!vism 5a5f45a74f022e4c57b1b363
=!= ** Surface mesh of molecule 1MAG**

- 方式：介绍前期相关工作和软件后，基本独立进行

（3）机器学习相关
- 针对我们现有的一个项目，视频中的行为分析，我们已有一套机器学习的分析流程，但有几个步骤需要研究改进，i）一个是为减少视频中的图片存储量，可以考虑设计算法，快速检测有动作变化的图片，把这些存下来分析就行了，中间没变化的视频帧大多可以扔掉； ii）对视频截出的帧做时间空间关联分析，提高动作行为分析的准确度；iii）对现有神经网络（主要是目标检测的网络），在特定场景下应用时进行改造压缩并保持精度，从而加快计算速度，提高硬件执行效率，降低应用成本；iv）在目标识别中（行为分析），快速有效计算、提取、和分析应用目标的特征点，提高识别的准确性和识别功能的丰富性。
- 方式：掌握python，了解一下机器学习的原理，研究上面一个问题就行。已具备我们自己的数据，师兄可指导。

!page

##=!= 行为身份识别（步态识别）的一个想法

- 问题： 通过动作特点能识别识别身份吗（区分个体，个人的唯一性标示特征，fingerprint）？如果能，怎么样做？

- 考虑可能性：整体协同的动作频谱，方向，速度，滞后性，等，加上体型特征，速度场等等...

- 方案流程：
(1) 大销量学习视频（Google 手术机器人）
(2) 提取人体关键点 --> 相关性分析，提取特征（本征值，本征矢等） --> 分类网络训练
(3) 图像分割后像素点的分布特点和时间序列

### 相关性分析 方案

- $$N$$ 个关键点坐标： 3维实体 $$r(t) \in R^{3N} $$， 2维图像 $$r(t) \in R^{2N} $$，$$t\in [0,T]$$

- 构造运动的协方差矩阵 $$A$$:
```math
A_{ij}= \frac{E_t [(r_i(t) - \bar r_i)\cdot (r_j(t) - \bar r_j)]}{\sigma_i \sigma_j} 
```

Where the time-average means $$E_t[f(t)] = \sum_{k=0}^L f_k$$, supposing  $$T=L\delta t $$ and $$\delta t$$ is time step.

另外，为了考虑运动的滞后关联性，更一般地定义 时间滞后 协方差矩阵 $$ A^M=A(M\delta t)$$:

```math
A_{ij}^M= \frac{E_t [(r_i(t) - \bar r_i)\cdot (r_j(t+M\delta t) - \bar r_j)]}{\sigma_i \sigma_j}
```

然后，计算特征值 $$\lambda_i^M$$ 及其相应特征矢量 $$v_i$$ 
```math
A v_i = \lambda _i^M v_i
```
（要求 $$|v_i|=1$$ ？）

开始定义的协方差矩阵$$A$$ 可以作为这里$$M=0$$ 时特殊情况。

$$v_i$$方向运动的频率记为 $$\omega_i^M=\sqrt{\lambda_i^M}$$

- 构造行为ID 识别特征空间 $$\Lambda^{M,K}_T $$
```math
\Lambda^{M,K}_T =\{ \{ \omega_k^0 , v_k^0 \}_{k=1}^K,\{ \omega_k^M , v_k^M \}_{k=1}^K, \{ \omega_k^{2M} , v_k^{2M} \}_{k=1}^K,...  \}
```

对于视频来说，$$T,M,K$$ 都是可调参数。

**问题：** 对应一个运动模式的动作幅度在哪里？（类似于FFT的系数？）

** （1）其它组合方式，（2）也可以加入其它特征一起，（3）归一化等的考虑 ！**

- **ID 识别训练**
对 $$\Lambda $$ 聚类，或者构造分类网络，对 特征时间序列 分类： 可对 公共数据集，也可对我们的课堂数据训练和测试。

- 因为特征（包括其它特征）、参数取法和组合方式较多，可考虑设计机器学习的方法来学习参数 --- 用 机器学习来训练机器学习 ！

## 关于“人体姿态估计（human pose estimation）
人体姿态估计，就是通过将图片中已检测到的人体关键点正确的联系起来，从而估计人体姿态。人体关键点通常对应人体上有一定自由度的关节，比如颈、肩、肘、腕、腰、膝、踝等。通过对关键点在空间中的相对位置进行计算，就可以估计人体当前的姿态，加入时间信息后，我们还可以进一步分析肢体的运动轨迹、频率、幅度等信息。人体姿态估计的关键在于如何识别人体的关键点，目前主流的做法是基于卷积神经网络和监督学习，比如卡耐基梅隆大学的开源项目OpenPose。OpenPose使用卷积神经网络提取图像的Part Confidence Maps 和Part Affinity Fields。得到这两个信息后，使用图论中的 Bipartite Matching（偶匹配）求出Part Association，将同一个人的关节点连接起来，合并为一个人的整体骨架。”

**Refs.：**
Hünenberger PH1, Mark AE, van Gunsteren WF., Fluctuation and cross-correlation analysis of protein motions observed in nanosecond molecular dynamics simulations, J Mol Biol. 1995 Sep 29;252(4):492-503.

## 吴斯迪

CindyWu  这周进展如何？我又想了一个问题，不知道你感不感兴趣，就是关于含时间的计算方法，我觉得我们一直没做好，不管是ode的还是Pde的。如果你要感兴趣，这也是一个可以深入做一下的方向，解决我们现在碰到的那些算法和理论问题。

## 马可颖

- Mursalin, Islam S S, Noman K, et al. Epileptic seizure classification using statistical sampling and a novel feature selection algorithm.[J]. arXiv: Learning, 2019.
- Roy S, Asif U, Tang J, et al. Machine Learning for Seizure Type Classification: Setting the benchmark.[J]. arXiv: Learning, 2019.

- Anumanchipalli G K, Chartier J, Chang E F, et al. Speech synthesis from neural decoding of spoken sentences[J]. Nature, 2019, 568(7753): 493-498.

###  数据预测
调研总结一下现在做一般的数据预测的模型和方法。 前段时间做的那些作为训练和基础。后面给一个具体的目标，咱们建立一套数据预测的神经网络方法，包括两个问题，一个是根据已有数据预测未来，另一个是用网络来作参数优化，对给定模型里的参数做优化，或者不知道模型，就对预测里面的一些因素（参数）做优化。这个优化也可以通过构造一个优化目标函数(如控制成本最小），作为神经网络里的损失函数来优化。