暑期总结-林盈来-7.10-9.1

yllin

暑期总结-林盈来-7.10-9.1
人工智能微专业

• 通过本次对 Andrew 人工智能微专业中的相关内容的学习，开拓了不少眼界。
  
  • 通用的性能调优。通过本课程了解了 Momentum，RMProp，Adam 等能够加速优化速度和结果的方法。此外，还学习到了如何通过数据来确定性能调优的方向。
  • 计算机视觉。 通过本课程了解了 One-shot， YOLO 等常见的算法及其实现，奠定了视觉方面的相关基础，对于后续基于视觉相关内容的学习具有极大的意义。
  • 自然语言处理。通过本课程深化了对于自然语言处理相关模型的理解，深刻地感受到 nlp 的强大力量并不逊色于 cv。
    
  
  

论文
NE 相关
总结

• 图表示学习一直是最近的热点研究方向，清华大学有不少组致力于该方面的研究。就目前所知，其学习方法可以被简单分类为矩阵分解(LLE，GraRep), 基于边的重构方(LINE)， 基于神经网络的方法(DeepWalk)。乍看起来，这些方法各不相同。实际上，这些方法隐含着一些相似性。
• DeepWalk， LINE本质上也是矩阵分解方法[2][8]。无论是 DeepWalk 的随机游走过程， 还是 LINE 的重建，其本质上都是对于一个相似性矩阵的近似过程。虽然还有许多工作还未被证明是矩阵分解方法，但是我相信这些工作，如果有人涉足，是能够被证明出来的。
• 对于相似性矩阵的构造有许多方法，常见的就是通过邻接矩阵的闭包来描述，当然，也有工作是基于图的拉普拉斯矩阵来做的。但是，对于闭包的计算的复杂度通常是基于矩阵大小。为了提高效率，对计算效率和精度做 trade-off ，不失为一个好方法[1][4]。
  

论文列表

• [1] Z. Zhang, P. Cui, X. Wang, J. Pei, X. Yao, and W. Zhu, “Arbitrary-Order Proximity Preserved Network Embedding,” Proc. 24th ACM SIGKDD Int. Conf. Knowl. Discov. Data Min. - KDD ’18, pp. 2778–2786, 2018.
• [2] C. Yang, Z. Liu, D. Zhao, M. Sun, and E. Y. Chang, “Network Representation Learning with Rich Text Information,” 2015.
• [3] C. Tu, Z. Zhang, Z. Liu, and M. Sun, “TransNet: Translation-Based Network Representation Learning for Social Relation Extraction,” 2017.
• [4] C. Yang, M. Sun, Z. Liu, and C. Tu, “Fast network embedding enhancement via high order proximity approximation,” IJCAI Int. Jt. Conf. Artif. Intell., pp. 3894–3900, 2017.
• [5] P. Goyal and E. Ferrara, “Graph embedding techniques, applications, and performance: A survey,” Knowledge-Based Syst., vol. 151, no. Xx, pp. 78–94, 2018.
• [6] H. Y. Cai, V. W. Zheng, and K. Chang, “A Comprehensive Survey of Graph Embedding: Problems, Techniques and Applications,” IEEE Trans. Knowl. Data Eng., vol. XX, no. Xx, 2018.[1] H. Y. Cai, V. W. Zheng, and K. Chang, “A Comprehensive Survey of Graph Embedding: Problems, Techniques and Applications,” IEEE Trans. Knowl. Data Eng., vol. XX, no. Xx, 2018.
• [7] D. Wang, P. Cui, and W. Zhu, “Structural Deep Network Embedding,” Proc. 22nd ACM SIGKDD Int. Conf. Knowl. Discov. Data Min. - KDD ’16, pp. 1225–1234, 2016.
• [8(部分)] J. Qiu, Y. Dong, H. Ma, J. Li, K. Wang, and J. Tang, “Network Embedding as Matrix Factorization: Unifying DeepWalk, LINE, PTE, and node2vec,” 2017.
  

Other

• [9] 吴恩达，黄广博, “DeepLearning.ai 深度学习课程笔记（ V5.44 ）” 2018.
  
  • review 人工智能微专业
    
• [10] 曼昆, “经济学原理” . chatper 1-9
  
  • 对于经济学的学习本质上就是一个学习如何决策的过程。所以，通过这本书，学习了一些关于决策的理论和经济学模型。
    
• [11] 黄文坚, “TensorFlow实战_黄文坚” .
• [12] 俞甲子, 石凡, 潘爱民. “程序员的自我修养”， chapter 1-4，8
  
  • 深化了对程序编译、链接、装载的理解，深入了解了目标文件和可执行文件的内部结构和存储方法，对理解和 debug 具有良好的帮助。
    
  
  

工作

• 论文的部分写作
• 增加了对其他模型的对比，修改这部分代码，并抽取出一个通用接口获得其结果。
• 实现 ripple network 并进行性能调优
  
  • 通过对 ripple network 的实现过程，强化了对 tensorflow 的基础和编码能力，掌握了部分 Tensorflow 的调优技巧，深化了andrew 课程中性能调优方法的理解。但是在之后中接触到了 MXNet， 我认为其非常适合具有 numpy 相关知识的人，并且其与 python 的结合度较高，相对于 tensorflow 的高度封装，我更青睐于 MXNet。但是 MXNet 的官方文档缺少，社区不如 Tensorflow 这是事实。希望 MXNet 能够在 AWS 的扶持下，成长得越来越好。