课题任务
幻灯模式
阅读 551
评论(0)
分享:
bzlu 2020-03-09 14:38:45
# 拟定课题 ## 吕敏瑞 课题计划 ### 毕业设计 (1) 半导体模拟 - 学习FEM、有限体方法,以及常用半导体的DD模型(PNP),完成一个PN结的有限体方法的DD模型模拟任务。有限体网格基于FEM的四面体网格重构。 - 或者,学习 Sentaurus软件及其网格结构和网格生成方法。 - 方式:在博士生指导下 (2) 分子几何研究 - 定任意蛋白质分子及其表面三角化网格,快速找出其所有的空腔、通道、坑道等,并在所在区域的附近表面做标记。 !vism 5a5f45a74f022e4c57b1b363 =!= ** Surface mesh of molecule 1MAG** - 方式:介绍前期相关工作和软件后,基本独立进行 (3)机器学习相关 - 针对我们现有的一个项目,视频中的行为分析,我们已有一套机器学习的分析流程,但有几个步骤需要研究改进,i)一个是为减少视频中的图片存储量,可以考虑设计算法,快速检测有动作变化的图片,把这些存下来分析就行了,中间没变化的视频帧大多可以扔掉; ii)对视频截出的帧做时间空间关联分析,提高动作行为分析的准确度;iii)对现有神经网络(主要是目标检测的网络),在特定场景下应用时进行改造压缩并保持精度,从而加快计算速度,提高硬件执行效率,降低应用成本;iv)在目标识别中(行为分析),快速有效计算、提取、和分析应用目标的特征点,提高识别的准确性和识别功能的丰富性。 - 方式:掌握python,了解一下机器学习的原理,研究上面一个问题就行。已具备我们自己的数据,师兄可指导。 !page ##=!= 行为身份识别(步态识别)的一个想法 - 问题: 通过动作特点能识别识别身份吗(区分个体,个人的唯一性标示特征,fingerprint)?如果能,怎么样做? - 考虑可能性:整体协同的动作频谱,方向,速度,滞后性,等,加上体型特征,速度场等等... - 方案流程: (1) 大销量学习视频(Google 手术机器人) (2) 提取人体关键点 --> 相关性分析,提取特征(本征值,本征矢等) --> 分类网络训练 (3) 图像分割后像素点的分布特点和时间序列 ### 相关性分析 方案 - $$N$$ 个关键点坐标: 3维实体 $$r(t) \in R^{3N} $$, 2维图像 $$r(t) \in R^{2N} $$,$$t\in [0,T]$$ - 构造运动的协方差矩阵 $$A$$: ```math A_{ij}= \frac{E_t [(r_i(t) - \bar r_i)\cdot (r_j(t) - \bar r_j)]}{\sigma_i \sigma_j} ``` Where the time-average means $$E_t[f(t)] = \sum_{k=0}^L f_k$$, supposing $$T=L\delta t $$ and $$\delta t$$ is time step. 另外,为了考虑运动的滞后关联性,更一般地定义 时间滞后 协方差矩阵 $$ A^M=A(M\delta t)$$: ```math A_{ij}^M= \frac{E_t [(r_i(t) - \bar r_i)\cdot (r_j(t+M\delta t) - \bar r_j)]}{\sigma_i \sigma_j} ``` 然后,计算特征值 $$\lambda_i^M$$ 及其相应特征矢量 $$v_i$$ ```math A v_i = \lambda _i^M v_i ``` (要求 $$|v_i|=1$$ ?) 开始定义的协方差矩阵$$A$$ 可以作为这里$$M=0$$ 时特殊情况。 $$v_i$$方向运动的频率记为 $$\omega_i^M=\sqrt{\lambda_i^M}$$ - 构造行为ID 识别特征空间 $$\Lambda^{M,K}_T $$ ```math \Lambda^{M,K}_T =\{ \{ \omega_k^0 , v_k^0 \}_{k=1}^K,\{ \omega_k^M , v_k^M \}_{k=1}^K, \{ \omega_k^{2M} , v_k^{2M} \}_{k=1}^K,... \} ``` 对于视频来说,$$T,M,K$$ 都是可调参数。 **问题:** 对应一个运动模式的动作幅度在哪里?(类似于FFT的系数?) ** (1)其它组合方式,(2)也可以加入其它特征一起,(3)归一化等的考虑 !** - **ID 识别训练** 对 $$\Lambda $$ 聚类,或者构造分类网络,对 特征时间序列 分类: 可对 公共数据集,也可对我们的课堂数据训练和测试。 - 因为特征(包括其它特征)、参数取法和组合方式较多,可考虑设计机器学习的方法来学习参数 --- 用 机器学习来训练机器学习 ! <br></br> ## 关于“人体姿态估计(human pose estimation) 人体姿态估计,就是通过将图片中已检测到的人体关键点正确的联系起来,从而估计人体姿态。人体关键点通常对应人体上有一定自由度的关节,比如颈、肩、肘、腕、腰、膝、踝等。通过对关键点在空间中的相对位置进行计算,就可以估计人体当前的姿态,加入时间信息后,我们还可以进一步分析肢体的运动轨迹、频率、幅度等信息。人体姿态估计的关键在于如何识别人体的关键点,目前主流的做法是基于卷积神经网络和监督学习,比如卡耐基梅隆大学的开源项目OpenPose。OpenPose使用卷积神经网络提取图像的Part Confidence Maps 和Part Affinity Fields。得到这两个信息后,使用图论中的 Bipartite Matching(偶匹配)求出Part Association,将同一个人的关节点连接起来,合并为一个人的整体骨架。” **Refs.:** Hünenberger PH1, Mark AE, van Gunsteren WF., Fluctuation and cross-correlation analysis of protein motions observed in nanosecond molecular dynamics simulations, J Mol Biol. 1995 Sep 29;252(4):492-503. ## 吴斯迪 CindyWu 这周进展如何?我又想了一个问题,不知道你感不感兴趣,就是关于含时间的计算方法,我觉得我们一直没做好,不管是ode的还是Pde的。如果你要感兴趣,这也是一个可以深入做一下的方向,解决我们现在碰到的那些算法和理论问题。 ## 马可颖 - Mursalin, Islam S S, Noman K, et al. Epileptic seizure classification using statistical sampling and a novel feature selection algorithm.[J]. arXiv: Learning, 2019. - Roy S, Asif U, Tang J, et al. Machine Learning for Seizure Type Classification: Setting the benchmark.[J]. arXiv: Learning, 2019. - Anumanchipalli G K, Chartier J, Chang E F, et al. Speech synthesis from neural decoding of spoken sentences[J]. Nature, 2019, 568(7753): 493-498. ### 数据预测 调研总结一下现在做一般的数据预测的模型和方法。 前段时间做的那些作为训练和基础。后面给一个具体的目标,咱们建立一套数据预测的神经网络方法,包括两个问题,一个是根据已有数据预测未来,另一个是用网络来作参数优化,对给定模型里的参数做优化,或者不知道模型,就对预测里面的一些因素(参数)做优化。这个优化也可以通过构造一个优化目标函数(如控制成本最小),作为神经网络里的损失函数来优化。
×
打开微信“扫一扫”,打开网页后点击屏幕右上角分享按钮