1. 了解并掌握量化投资领域,虽然跟很多人的工作关系不大,但毕竟是一个新兴领域,而且跟 AI 技术的结合比较紧密,强烈建议借此机会学习。
2. 掌握并实战优化技术,通过编写真正的策略会真正明白优化技术如何应用在工业界环境中。
3. 基于给定的优化方法,自己试着去改进并创造新的优化方法,让回测效果更好。
涉及到的技术:量化投资、凸优化
感兴趣的请添加咨询顾问
2. 图神经网络:
图神经网络是指神经网络在图上应用的模型的统称,根据采用的技术不同和分类方法的不同,又可以分为下图中的不同种类,例如从传播的方式来看,图神经网络可以分为图卷积神经网络(GCN),图注意力网络(GAT贝叶斯线性回归,缩写为了跟GAN区分),Graph LSTM等等,本质上还是把文本图像的那一套网络结构技巧借鉴过来做了新的尝试。在本次课上,我们着重学习关于图卷积技术以及其相关知识,例如:图论基础,GCN的卷积由来和详解,GAT等相关边嵌入模型,以及GCN在各个方向的应用。
课程大纲
第一周:GNN相关数学基础(1)
学习目标:掌握图神经网络中涉及到的基础理论,包括不同空间的描述,傅里叶变化以及CNN相关的技术。
学习安排:
-空间向量和图论
– Inner Product, Hilbert Space
– 傅里叶变化
– Eigenfunction, Eigenvalue
– CNN的卷积和池化
– 介绍CNN的卷积层
– 如何卷积、信息如何传递
– 池化层的作用和基本设计
– 案例分析:各类矩阵分解方法比较
第二周:GNN相关数学基础(2)
学习目标:掌握图神经网络中涉及到的基础理论,包括不同空间的描述,傅里叶变化以及CNN相关的技术。
学习安排:
– Subgraph
– Network Motif
– Network Community Detection
– 拉普拉斯算法
– 拉普拉斯矩阵
– SVD,QR分解
– 基于向量机分解
– Block分解
– 拉普拉斯算子和矩阵的数学意义
第三周:图卷积详解
学习目标:掌握图卷积相关的基本知识,这是理解图神经网络的根本。在本部分,系统性掌握我们目前常使用的GCN模型是如何得出来的,而不是停留在仅仅使用的层面,这里包括ChebNet等我们需要理解的内容。
学习安排:
– 图卷积的几何意义
– GraphFilter
– Graph Convolution
– ChebNet
– GCN详解
– Graph Pooling
– MCMC介绍
– Importance Sampling
– Rejection Sampling
– 案例分析:基于GCN的推荐
– 案例分析:CNN的权重剪枝
第四周:边嵌入的图卷积
学习目标:掌握Spatial类型图神经网络,本质上跟GCN的构造方式是不一样的,但变得越来越流行。本节重点掌握GAT以及Attention如何用在图神经网络之中。
学习安排:
– Spatial Convolution
– Mixture Model Network
– Attention机制
– Graph Attention Networks(GAT)
– Edge Convolution
-EGCN, Monet
– 近似优化问题
– 减少计算量的介绍
– 案例分析:Attention机制剖析
第五周:图神经网络改进与应用
学习目标:掌握改进图神经网络,以及它背后的思路。这种能力可以带给你,今后在工作中遇到类似的问题,你也有能力做一些模型上的改进!
学习安排:
– NRI
-Relative Position与图神经网络拓展
– Relative GCN
-融入Edge特征
– Knowledge GCN
– ST-GCN
– Graphsage的设计
– Graphsage的应用
– 案例分析:基于图的文本分类案例
– 案例分析:基于图的阅读理解
第六周:其他的常见图模型
学习目标:除了GCN,GAT等主流图神经网络模型之外,还有一些非常流行的图模型。本节主要帮助学员掌握此类模型,包括Deepwalk, Node2Vec等非常有价值的模型。
学习安排:
– GNN的其他变种
– Deep Walk模型
– Node2Vec模型
– Struc2Vec模型
– HyperGCN模型
– HGCN的设计和应用
作业项目:基于GCN的链路预测
项目描述:链路预测(Link Prediction)是通过已知的网络节点以及网络结构等信息预测网络中尚未产生连边的两个节点之间产生链接的可能性。近几年在线社交网络发展非常迅速,链路预测可以基于当前的网络结构去预测哪些尚未结交的用户“应该是朋友”,并将此结果作为“朋友推荐”发送给用户:如果预测足够准确,显然有助于提高相关网站在用户心目中的地位贝叶斯线性回归,从而提高用户对该网站的忠诚度。另外,链路预测的思想和方法,还可以用于在已知部分节点类型的网络中预测未标签节点的类型——这可以用于判断一篇学术论文的类型或者判断一个手机用户是否产生了切换运营商(例如从移动到联通)的念头。
涉及到的技术:GCN,GAT,KGCN,相似度计算,图论
感兴趣的请添加咨询顾问
3. 贝叶斯深度学习
贝叶斯深度学习是一项迅速崛起的技术,融合了深度学习和贝叶斯核心技术,使得模型本身可以更好地捕获数据中的不确定性,同时也能预测出结果的不确定性,同时贝叶斯模型也比较适合小数据量的场景。通过本次课程的学习,学员能够系统性掌握贝叶斯核心技术,包括MCMC,变分法,VAE, 贝叶斯优化,主题模型,对抗学习,以及如何应用在不同的场景中,既有助于应用层面上的提升,也有助于科研。
课程大纲
第一周:贝叶斯机器学习介绍
学习目标:掌握贝叶斯基本理论、掌握最大似然与贝叶斯估计之间的区别,以及跟集成模型之间的关系。了解贝叶斯学习中的两种近似算法,MCMC与VI以及区别。同时,掌握如何解决具体的贝叶斯学习问题。
学习安排:
-贝叶斯定理
– MLE、MAP以及贝叶斯估计
– 集成模型与贝叶斯方法比较
– 贝叶斯推理中的困难
– 贝叶斯近似算法介绍
– 案例分析:基于贝叶斯的股价预测
– 案例分析:贝叶斯线性回归
-案例分析:Probabilistic Programming
– 案例分析:Edwin的使用以及实战
第二周:贝叶斯朴素贝叶斯与主题模型
学习目标:系统性掌握主题模型的细节,包括它的背景、生成过程以及推理。通过此学习,同时也可以掌握跟贝叶斯朴素贝叶斯之间的联系,以及在生成逻辑中的差异。
学习安排:
-朴素贝叶斯模型回顾
– 贝叶斯朴素贝叶斯的生成过程
– 概率图的表示
– 主题模型的应用
– 主题模型的生成过程
– 主题模型的应用场景
-案例分析:LDA的代码剖析
-案例分析:基于LDA的文本分析
-案例分析:Bayesian-LSTM的文本分析
第三周:MCMC采样技术
学习目标:掌握各类采样技术,特别是吉布斯采样,也是MCMC中最为重要的一项技术。另外,完完整整地掌握LDA的所有详细的推导细节。
学习安排:
-MCMC采样技术介绍
– 狄利克雷分布
– 吉布斯采样
– 贝叶斯朴素贝叶斯求解
– LDA与吉布斯采样
– 各类采样技术介绍
– Importance Sampling
– Rejection Sampling
-案例分析:不同采样技术实现与比较
第四周:变分法技术
学习目标:掌握近似算法中另外一个最核心的技术-变分法。掌握如何设计变分参数、如何优化变分的目标函数以及最后的模型的预测。这里涉及到KL散度、ELBo、和优化等内容。
学习安排:
– KL散度
– ELBo的构造
-变分法的目标函数
– 坐标下降法
– 求解LDA的参数
– 变分参数的设计
-SVI的介绍
-基于SVI求解LDA
– 案例分析:在推荐领域中的应用
-案例分析:如何设置合适的prior
第五周:贝叶斯深度学习
学习目标:掌握如何通过贝叶斯深度学习模型去量化模型和数据中的不确定性,主要学习MC Dropout等技术。同时掌握深度生成模型技术以及它们的应用。
学习安排:
– 贝叶斯深度学习的应用
– 贝叶斯与VAE
-Reparameterization Trick
-深度生成模型
-贝叶斯模型与不确定性分析
-MC Dropout
-案例分析:基于VAE的文本生成
第六周:贝叶斯深度学习与自然语言处理
学习目标:掌握贝叶斯深度学习在自然语言处理任务中的应用,包括命名实体识别、文本分析等任务。同时,掌握Adversial Attack相关的技术,以及它跟贝叶斯方法论之间的关系。
学习安排:
– 贝叶斯序列模型
-词性标注与实体识别
-Adversial Learning
-Adversial Attack
-基于GNN的Adversial Learning
– 案例分析:基于贝叶斯网络的命名实体识别
-案例分析:基于贝叶斯深度学习的文本分析
作业项目:基于修改版LDA的情感分析
项目描述:本项目的目的是如何基于LDA来自动抽取文本中的情感,这个项目涉及到对于LDA模型的改造以及对于新模型的推导,具有一定的挑战。在本项目中,我们会一步步引导学员去设计模型,并对模型做出吉布斯采样的全部推导过程以及实现环节。通过此项目,学员会亲身体会整个贝叶斯模型的设计和训练过程。
涉及到的技术:主题模型,吉布斯采样,Collapsed吉布斯采样,无监督情感分析
感兴趣的请添加咨询顾问
4. 深度强化学习
强化学习是机器学习的一个分支,相较于机器学习经典的有监督学习、无监督学习问题,强化学习最大的特点是在交互中学习(Learning from Interaction)。Agent在与环境的交互中根据获得的奖励或惩罚不断的学习知识,更加适应环境。RL学习的范式非常类似于我们人类学习知识的过程,也正因此,RL被视为实现通用AI重要途径。<br>通过融合深度学习,深度强化学习迅速在围棋,游戏等场景取得了超越人类的表现。通过本次课程,学员能够系统的掌握深度学习框架及核心技术,包括 Markov Desision Process, Monte Carlo Control, SARSA, Q learning, Value Approximation, Deep reinforcement Learning ,及强化学习在游戏,自然语言中, 推荐的应用过程,即有助于应用层面上的提升,也给科研提供新的思路与方向。
课程大纲
第一周:强化学习基础(1)
学习目标:掌握强化学习最基本的知识,包括MDP, Bellman Equation以及动态规划,这些对后续的学习是必须的。
学习安排:
-Markov Decision Process(MDP)
-Bellman Equation
– Dynamic Programming
– Model-free Prediction
-Monte Carlo Leanring
– TD Learning
第二周:强化学习基础(2)
学习目标:掌握强化学习最基本的知识,包括Model free policy,Monte Carlo Control, Q-Learning等。
学习安排:
-Model-free control
-On-policy Monte Carlo Control
– On-policy TD learning
– SARSA, SARSA Lambda
– Off-policy
– Importance Sampling
– Q-learning
– 案例分析:Atari的实现以及讲解
第三周:强化学习基础
学习目标:掌握强化学习核心方法论,能把相应的技术应用在自己的问题当中。主要的技术涉及深度强化学习。
学习安排:
– Policy Gradient
– Deepreinforcement learning
– Actorcritic
– Advancedreinforcement learing
-案例分析:RL在文本生成中的应用
第四周:探索、实施、推荐系统
学习目标:掌握强化学习在online learning的应用,包括各类multi-armed bandit算法,以及在推荐中的应用。
学习安排:
– Multi-armed Bandits
– Explore and Exploit
-Thompson Sampling
– Epsilon Greedy
-Upper Confidence Bound
– Epsilon Greedy
-UCB
– 案例分析:强化学习与推荐系统
第五周:多智能体的强化学习与稀疏Reward的设计
学习目标:掌握强化学习中的多智能体学习和各种Reward设计方法,能够灵活在自身的问题中应用起来。
学习安排:
– Multi agent Reinforcement Learning
– Sparse Reward Design
– Inverse RL
– AlphaGo详解
第六周:强化学习在NLP、量化和游戏中的应用
学习目标:掌握强化学习在主流场景中的应用,包括自然语言处理、量化投资以及游戏。
学习安排:
– 案例分析:强化学习的应用场景
– 案例分析:强化学习在NLP中的应用
– 案例分析:强化学习在量化投资中的应用
– 案例分析:强化学习在游戏中的应用
– SeqGan讲解
作业项目:利用强化学习搭建游戏智能体
项目描述:本项目 (coursework) 旨在实践并设计强化学习算法来探索,解决解决强化学习问题。其中包括模拟HFO ( Half Field Offence)及 Flappy Bird。通过此项目,期望同学们能充分理解,并可掌握,应用 (但不限于) :状态State, 动作Action, MDP( 马尔可夫决策过程)。State value function ,State Action value function 如何进行估计,迭代及预测。深度神经网络强化学习对Value Approximation进行评估, 并进行Policy优化。Exploration 和 Exploitation 的平衡优化也将会在本项目的最后进行探索。。
涉及到的技术:MDP建模,Q Learning,Monte Carlo control,Value Iteration, Deep Q Learning
感兴趣的请添加咨询顾问
关于我们-一切从信任开始
我们专注人工智能人才培养4年,在AI领域,国内属于最头部的人才培养黄埔院校。在AI人才培养上,已跟京东、腾讯等大厂一直建立者良好的战略合作关系,学员也来自斯坦福、伯克利、清华、北大等世界级名校。
职场成功案例
姓名:李**
学校专业:燕山大学 控制工程专业 2019级硕士毕业生
原工作单位:软通动力 算法工程师 年薪20万
跳槽方向:算法工程师
匹配方案:技术研修+背景提升+求职面试一篮子服务
最终跳槽公司:荣耀 年薪45万
履约服务时长:7个月
姓名:Jerry Zhao
学校专业:澳大利亚国立大学 计算机专业 2018级本科毕业生
原工作单位:鲁班软件 初级算法工程师 年薪18万
跳槽方向:ML算法工程师
匹配方案:技术研修+案例项目学习+求职面试一篮子服务
最终跳槽公司:网易 年薪40万
履约服务时长:4个月
姓名:钱**
学校专业:中国农业大学 计算机科学与技术 2018级本科毕业生
原工作单位:聚美国际 算法工程师 年薪22万
跳槽方向:算法工程师
匹配方案:技术研修+导师咨询+求职面试一篮子服务
最终跳槽公司:亚马逊电商 年薪47万
履约服务时长:11个月
姓名:蔡*
学校专业:中科院自动化所 智能控制与计算智能 2020级博士毕业生
原工作单位:中国科学院自动化研究所-智能系统与工程研究中心-实习 年薪5万
跳槽方向:ML算法工程师
匹配方案:背景提升+大厂技术大牛求职方向规划+求职面试一篮子服务
最终跳槽公司:比亚迪 年薪38万
履约服务时长:2个月
历届学员去向
大厂前辈导师
李文哲
贪心科技CEO
美国南加州大学博士
曾任独角兽金科集团首席数据科学家、美国亚马逊和高盛的高级工程师
金融行业开创知识图谱做大数据反欺诈的第一人
先后在AAAI、KDD、AISTATS、CHI等国际会议上发表过15篇以上论文
杨老师
推荐系统,计算机视觉领域专家
香港城市大学博士,加州大学美熹德分校博士后
主要从事机器学习,图卷积,图嵌入的研究
先后在ECCV, Trans on Cybernetics, Trans on NSE, INDIN等国际顶会及期刊上发表过数篇论文
王老师
毕业于QS排名TOP20名校
先后任职于亚马逊,华为,平安科技等AI研发部门
主要从事机器阅读理解,信息检索,文本生成等方向的研究
先后在AAAI, ICLR等发表数篇论文,拥有多项国家发明专利
感兴趣的请添加咨询顾问