开幕式

• ppt会在网站上共享

• 每年的会议也会由清华大学出版社整理为《机器学习及其应用》一书

• 公众号：MLA2016

以下笔记整理与会议期间，主要关注机器学习应用方向，对于一些比较小众或者高深的topic，由于个人水平有限，会跳过一部分不讲。

Presentation（11月5日）

分布式学习

• 背景

  • 大数据分布式学习介绍

  • 大数据自然地分散存储

• 问题

  • 数据分为子集，子集运算，output平均

  • 分布式结果与单机运算结果理论上是否应该近似？？

• 常用方法

  • 最小二乘回归：最小化预测与实际值差异 - 过拟合 - 假设空间

  • 假设空间越大学习效果越好

  • 具体应用时假设空间会被限制

  • 目标函数要学好，需要与kernel空间有联系，具体关系由一个函数描述

  • kernel空间

  • 假设空间越大，函数光滑性越好

• 回归分布式学习

  • 函数复杂度：λ趋向无穷的速度

  • 衡量学习算法的好坏

• 单机结果与分布式结果的误差由一个公式描述，这个公式表述了：

  • 分布式能达到单机效果

  • m一般越大越接近单机结果，分的多variance越小，但不能分到底，要有一个限制

• 数学上的问题：最小二乘回归能得出minimize rate吗？用二次分解解决

• 深度学习困境：

  • 黑箱：强加条件可能有效但不明所以

  • 浅层神经网络做不了局部近似，两层可以做到，三层与两层效果往往有很大差别，但不明所以

  • 希望从数学上说明更多层数能获得许多不同的结构层次信息

    • 内积学的是多个方向上的东西，多层时方向维度信息指数增加

  • sgd

  • 在经典结构上加些几何结构能学到数学上对应的结构

  • minor gradient

  • 深度网络，函数有结构才能学得好

ML in NLU，CL，NLP

• NLP && DL

• 机器翻译，情感分析，自动摘要，问答系统，关系抽取

• 挑战

  • 未知现象太多

  • 歧义，双关，隐喻

  • 跨文化语义

  • 方法

    • 规则：词法，词性

    • 统计：概率，贝叶斯，语言模型，翻译模型，解码器

      • 分词-短语-翻译-调序

    • 常用方法，开源工具

    • example：

      • 由字构词，识别词的位置做为特征，进一步得到词义

      • 词义消岐，词性，位置

      • 文本分类，分类器组合

• 深度学习

  • RBM无监督做图像，HMM语音识别的突破

  • 词向量

    • one hot 相乘为0！

    • 近似词放在相近的地方

    • 词表规模， 词向量维度的确定

    • 词向量获取CBOW，etc

  • 句子语义表达：RNN，attention（在句子中的重要性，可用眼动仪测量）

  • 翻译：生词 - 概率优化 - 同义词 - 拆词 - 补词

• 《统计自然语言处理》宗成庆

  • 深度学习不等于深度理解

    • 难以全文分析，就缺乏归纳推理

    • 常识学习

  • 深度学习泛滥，应该多考虑其他机器学习方法的出路

忆阻

• 硬件模拟大脑计算

• 内存基于电容，易失，忆阻不易失

• BP更新权重需要用外部电路辅助实现

Spotlight

• hulu：CF-NADE神经网络协同过滤推荐

• CNN可视化，随机权重少量训练，重构图像，验证ML也不一定需要大量训练 **

• 估计光泽量，反射量，考量对数变换

• 深度网络缩小文本与图像的语义差异，再映射？？

• 迁移学习：模型的联合概率分布有差异

• 高维非凸最优化

• 函数偏移值强化学习

• 异构人脸识别

• loss function求和优化，共享内存异步优化

• 深度学习+哈希学习

• 蒙特卡罗预测状态

Presentation 11-06

迁移学习 kernel embedding of distribution

• 分类聚类，增强学习

• wifi室内定位，N个路由器，N维向量，

  • 连续空间：回归问题

  • 设备移动，记录位置和路由器强度

  • 回归学习定位系统

  • WiFi对温度敏感，所以强度会发生变化，不同目标设备也会影响强度值

  • 使用迁移学习，让后来的设备适配先前的设备模型

• 情感分析

  • 用户情感词可能很多种，不同产品会有不同类型的情感词

  • 添加enable标签

• Bug predict

• 机器学习强假设：训练与测试数据需要来源相同，分布相同，特征相同

• 其实我们只需要收集一些enable数据和一点feature数据（半监督）

• 添加迁移学习方法预测target

• 异构迁移，同构迁移

• 监督迁移，半监督，无监督迁移

• 基于样本迁移学习

  • source跟target在数据集上有重叠

• 基于特征迁移学习

  • 训练集与测试集只有一部分重叠特征

  • 特征映射到一个空间，在这个空间训练集与测试集接近

• 基于参数迁移学习

  • 可能迁移目标与源在参数上相近

• 基于关系迁移学习

  • source和target在数据之间的关系可能相同

• 通用的基于特征的迁移学习

  • source和target结构相似，

  • 假设它们有潜在的相同因子

  • 去掉一些因子，使得数据的分布不变，那这些因子就是它们的共同特征

  • 同时还要尽量保持原来的数值

  • 最小化source和target分布的差异

  • RKHS

  • 找一个向量代表一组数据

  • 增加多维统计信息比如(E[x] E[x2] ...)

  • 无穷维，用核函数形式展示

搜索引擎信息检索

• 略

可视化特征学习与表达

• 特征的寻找，低维表达高维图像数据 - 子空间

• 稀疏特征表达 **

• 人脸 - 关键点定位 - 让模拟关键点与实际关键点误差最小，先拟合再回归

• CSR

• hypergraph base：feature hyper edge： 轮廓

  • 空间大，边不能自适应非均匀自适应分布

Bug mining

• 自然语言与程序语言存在不同

• 需要根据问题本身进行设计

多任务学习

• school数据集：每个学校单独预测，多个学校同时联合训练

  • 弥补训练数据的缺失

• 训练过程中多任务联合，抓住任务间联系，建模，预测

• 重点在任务之间的关联

  • 假设所有任务相似

    • 假设所有任务参数向量接近，让所有任务共享方差，简单，假设太强

  • 特征空间相似

    • 共享同一组特征：所有任务都会使用特征中的某一部分，group sparsity l1,q norm 规范化，最小化norm，使得共享稀疏特征

  • 共享低维子空间

    • rank minimization，增加一个rank项，rank最小化

  • 共享结构，聚簇，图，树

    • 聚簇：同一个族中的任务距离更相近

  • 学习外围任务

• 避免无关因素影响

• 约定

  • 每个任务有一个特征矩阵，不同任务样本数量不同，矩阵长度不同，但所有任务的特征相同，矩阵宽度相同

  • 每个任务有一个参数向量

  • 用以上符号表达几乎所有多任务模型

  • 损失：正常的预测与实际值的偏差

  • 规范化参数

• 然而上述假设都有点强，需要分开：W = P + Q，任务由相关部分和不相关部分组成

  • l2 norm，在Q中让有些列为0，表示有些列是有特异性的

• 任务之间的关系：task-level（这种假设还是比较强）

• feature-level：任务在某些特征上是否相关，有何相关

协同聚类

• 规范化项

  • 仍然W = P + Q模型

  • Q描述协同聚类效果

  • 模拟任务与特征之间的协同聚类

  • Q的一个行是一个特征，Q的一个列是一个任务

  • 在Z向量上聚类

  • 两个规范化项

  • 第二个规范化项是非凸的，需要CoCMTL优化

• 优化

  • Low rank MTL

  • 为求解添加核范数 nuclear norm，做一个松弛

  • 矩阵信息主要由奇异值大的特征向量表达，很受核范数影响，产生负面因素

  • 在核范数前增加权值，奇异值越大，权重越小，权值自动优化，需要设计优化算法

  • 这个权重也是非凸，但物理意义更接近矩阵的秩

  • 权值的优化：近似非凸函数，随机权值，逐步调节

  • 权值优化收敛性：一定会收敛，收敛速度还可以

• 轨迹回归

  • 一个序列，含有多个路段的数据，预测通过路线的时间

  • n 个轨迹对，每个路段的行驶距离，需要预计走过每个路段的时间

• 挑战：

  • 不同时间走过一个路段的耗时是不同的

  • 轨迹数据非常稀疏

  • 训练样本有限

  • 不能单任务

• 将序列按时间划分成多个子集，每个时间段的预测分别为一个任务（比如早高峰一个任务，晚高峰一个任务， 平常时间为一个任务）

  • 相邻时间代价变化光滑，存在全局光滑性

  • 存在局部突出变化

• 分解

  • P 模拟全局平滑性质

  • Q 抓住局部性质

  • P 时间上的平滑性，空间上的平滑性

  • Q 异常现象，l inf,1 范数，达到列稀疏效果，描述了某些任务与其他大部分任务之间的区别

    • 高峰代价由全路段最大代价决定

• 建模完成

• 优化非平滑，需要近似

• 苏州出租车行驶数据，6W轨迹信息

• Q矩阵每列的最大值画出来，几乎描述了高峰的局部现象

大数据

• 核心：分析处理

• 大数据分析与处理的核心基础，搭建新平台，研发新算法

• 数据预处理，算法工程化

• 处理：计算机为基础

• 分析：数学为基础

• 基于全数据中心估计

• 基于数据分解的分布估计

• ADMM

• 理论决定深度结构

• 模型族决定假设空间

• 深度学习解决模型选择与参数选择

• 解反问题的一个新思路：模型求解与范例学习

自适应动态规划 - 学习控制

• 略

人脸识别

• triplet loss不需占用额外显存

• seetaface

Spotlight

• 社交影响驾驶行为

  • 车联网

  • 司机之间的社交分享提高司机经验

  • 启发：在同一个地方都停留超过10分钟，就可能是有社交关系

  • 2013纽约出租车行驶数据集

  • 从行为模式建模出社交关系

  • 用社交关系得到权重作用于行为模式预测

  • 行为模式得到轨迹

Special Session

顶会Review(以下环节中paper部分表示很值得关注的paper)

• ML

  • ICML

    • 神经网络，深度学习，优化，再增强学习，矩阵构造，无监督学习，在线学习，学习理论，应用

    • 过去十年最有影响文章：dynamic topic models

    • rnn,采样，动态组织模型深度强化学习

  • NIPS

    • 论文数取决于场地。。

    • learning，model, network，optimization，deep， inference，贝叶斯

    • 顶会有tutorial，tensorflow，NVIDIA gpu介绍

    • 邀请牛人分享

    • workshop：bayesian, application, deep learning, new areas, others

    • Paper:

      • Competitive Distribution Estimation: Why is Good-Turing Gooding good

      • Fast Convergence of Regularized Learning in Games

    • startup:

      • ai startup: openai was founded

    • hot areas: new models: optimization for dl , bayesian, reinference

    • adaptive data analysis: 实验不可泛化，需要避免

    • review: 每篇论文有六个reviewer，review会公开（重要）

  • COLT

    • 计算机理论文章进入这个圈子

    • 十大机构占半

    • 一小群数学家在这里开会

    • bandit, 计算机理论，online, 限制学习， 监督学习,pac

    • 两个invited talk

    • Paper:

      • Multi-scale exploration of convex functions and bandit convex optimization

      • Provably manipulation-resistant reputation systems (协同过滤)

    • dl：理论：

    • the power of depth for feedforward neural networks

    • benefits of depth in neural networks

    • on the expressive power of deep learning: a tensor analysis

    • 深层少节点可行，浅层多节点才行

    • Paper

      • Online Learning in Repeated Auctions: 拍卖，true value unknow the true value

      • Learning Simple Auctions：证明多项式级样本可以达到买卖平衡

• AI

  • AAAI

    • tripleAI

    • topic: machine learning method, ml app, 博弈论,

    • 计算机视觉，web，nlp, 认知模型

    • 启发式，多智能，不确定，规划调度

    • 鲁棒AI

    • paper:

      • Bidirectional Search That Is Guaranteed to Meet in the Middle

      • Toward a Taxonomy and Computational Models of Abnormalities in Images

    • What is hot: meeting and competitions

  • ​IJCAI​

    • deep learning渐弱

    • 传统领域review比较多，ml review少

    • ml, ai arguement 少

    • 投稿时解释清楚问题

    • co-author list投稿后一般不可变

    • 限制author投稿数量

    • knowledge graph, knowledge base

    • paper:

      • Hierarchical Finite State Controllers for Generalized Planning

      • Using Task Features for Zero-Shot Knowledge Transfer in Lifelong Learning

• DM

  • ​KDD​

    • sigkdd

    • talks多

    • classical ml , techniques still , pronounce for solving dm tasks

    • graph, streawm, heterogeneous

    • clustering, neural network

    • paper:

      • FRAUDAR: Bounding Graph Fraud in the Face of Camouflage

      • Ranking Causal Anomalies via Temporal and Dynamical Analysis on Vanishing Correlations

      • TRIEST: Counting Local and Global Triangles in Fully-Dynamic Streams with Fixed Memory Size

      • Predicting Matchups and Preferences in Context

    • kdd有点看author

    • graphs over time:densification laws, shinking dismeters

    • kdd china: acm 数据挖掘中国分会

  • ​ICDM​

    • 数据挖掘blabla

    • 盲审,关注可重现性

    • Paper

      • Fast Random Walk with Restart and its Applications

      • Diamond Sampling for Approximate Maximum All-pairs Dot-product (MAD) Search

      • From Micro to Macro: Uncovering and Predicting Information Cascading Process with Behavioral Dynamics

    • 新应用，正面的论文title，

    • 不要早于两周提交，

    • 多跨界合作

    • 神经网络，学习 ⬆️

• Other

  • ISCA

    • 处理器架构

    • 寒武纪团队

    • 深度学习处理器

  • AI statistics↑

    • ai, ml, statistics

    • 在美国受认可

    • \<4人审核，逐层审核

    • 高斯，图模型，优化，在线学习，聚类，矩阵，推理，贝叶斯，压缩感知，稀疏编码，深度学习

    • 半监督，nonlinear embedding and manifold learning , semi-supervised learning ↓

    • Paper

      • Provable Bayesian Inference via Particle Mirror Descent

  • UAI

    • AI的不确定性

    • 图模型，贝叶斯，因果推断

    • Paper

      • Stability of Causal Inference

      • Online learning with Erdos-Renyi side-observation graphs

    • bayesian, reinforce, optimization

    • 非凸问题，凸近似

    • 深度神经网络自由度

    • 理论理解，迁移学习中协同矩阵重构

    • 因果发现，贝叶斯应用，ml on health

    • 外国比较火，DL不太火

  • ICLR

    • 小

    • emergeing

    • dl

    • open review

  • ACML

    • 亚太

    • 长文16页

    • 4-5 review

    • 两轮投稿

    • 会议转期刊 -> MLJ

    • ML

  • SIGIR

    • 信息检索

    • ML

    • search new trend from google

    • IR

      • Matching

      • Translation

      • classification

      • structured predicction

    • Word Embedding, rnn, cnn

  • ACM multimedia

    • 多媒体

    • 多个投稿方向

    • 视觉，多媒体搜索，，

    • DL on Multimedia，图片检索，视频分析

    • 图像视频自动描述

    • 多模态社交媒体主体意见挖掘

    • CNN分析菜肴

  • CVPR

    • CV

    • 应用Dl

    • 3D

    • 紧密结合工业界

    • 主题提取

    • 视频问答

    • imagenet

  • ICCV

    • CV

    • 提前投

    • DL ↑

    • Track

  • ACL

    • 计算语言学、自然语言处理

    • 工业界应用

    • 双盲审

    • 语义，语法，ML，资源与评估

  • ACM SIGGRAPH

    • 图形学顶会

    • 工业界，艺术界

    • TOG

    • Geometry

    • Animation

    • Human Model

    • 3d print, image processing， render↓

    • VR, AR, ML

    • novelty

    • 视觉效果