马毅任院长！港大建立盘算与数据封建学院，盘算机+统计双剑合璧

编纂：Aeneas 好困

【新智元导读】刚刚，港大建立新的盘算与数据封建学院，由盘算机封建系和统计学系兼并。马毅传授被任命为学院首任院长。

就在刚刚，马毅传授官宣：香港大学盘算与数据封建学院建立。

同时，马毅被任命为首任院长。

新学院的主要职责，就是经过全盘变革和重新计划从本科一年级到研讨生的整个课程体系，来改造AI和盘算机封建的教导。

马毅婉言：这是一项宏大的工程，但也是我们这一代教导者的责任。

盘算与数据封建学院

由现有的盘算机封建系和统计与精算封建系兼并后，新建立的盘算与数据封建学院拥有约莫60名着名学者和800名研讨生，提供14个学术课程。

港大之以是要做出这种跨学院整合，就是渴望在盘算武艺、数学建模和统计推理之间，创造出强壮的协同效应。

假如既把握了盘算机封建，又把握了统计学课程的精华，学院的毕业生必将具有强壮的分析和盘算武艺。

别的，新建立的学院还会作为一个活泼的跨学封建术和研讨互助中央，促进与其他一切院系的互助，以富裕使用古代数据封建和AI的潜力。

学院提供的授课式研讨生课程，富裕思索了行业和事情市场的需求。

课程将涵盖多个主题，包含但不限于数据封建、人工智能、网络宁静、统计学和软件工程。

同时，学院还会和行业伙伴亲密互助，确保课程切合如今的行业需求。

课程设置

掀开学院的课程设置列表，我们可以看到学院授予5个朝向的硕士学位，分散是数据封建硕士、盘算机封建硕士、电子商务与互联网盘算硕士、金融科技与数据分析硕士和统计学硕士。

数据封建硕士（Master of Data Science）

数据封建硕士的课程布局包含广泛的统计学和盘算机封建课程，提供两种学习形式：整日制形式为一年半学制，非整日制形式为两年半学制。

本专业的硕士，将承受数据封建原理和实践方面的培训。

哀求者应具有微积分和代数、盘算机编程以及低级统计学的知识，并且应最少在这三个科目或干系范畴中完成过一门大学或大专证书课程。

盘算机封建硕士（Master of Science in Computer Science）

盘算机封建硕士课程，将为学生提供盘算机封建范畴的高等和深化知识，课程的最大特点就是多样性和机动性。

课程分为四个朝向——网络宁静、金融盘算、多媒体盘算和通用朝向，涵盖了从数据工程、云盘算、区块链武艺、深度学习到金融敲诈分析研讨的广泛主题。

- 通用朝向涵盖了一系列广泛、全盘的盘算机封建科目，有多种课程可供学生选择。

- 网络宁静朝向是一个多学科的研讨范畴和专业活动，触及网络宁静的最新武艺。课程从武艺、构造、人本导向和执法等不同角度，涵盖网络宁静的各个方面。

- 金融盘算朝向研讨用于金融的数据和算法，以及完成金融模子或体系的盘算机步骤的数学。金融盘算重申实用的数值办法，侧重于直接使用于商业和金融分析的武艺。重点将放在金融行业的盘算方面。

- 多媒体盘算朝向专注于多媒体盘算、通讯、分析、可视化和使用。学生将取得实际和实践武艺，用于开发创新和创造性的多媒体盘算武艺。

电子商务与互联网盘算硕士（Master of Science in Electronic Commerce and Internet Computing）

电子商务与互联网盘算硕士课程于1999年9月建立，是亚太地区首个团结商业与武艺的课程。

香港在举世金融市场中拥有共同的位置，这门课程团结了香港的这项上风，它的目标是培养武艺娴熟且具有商业头脑的人才，为香港的企业提供创新的季候方案。

别的，该专业还融入了一些优秀、精良的元素，协助学生跟上信息武艺的快速提高。

该专业渴望，学生完成课程后，可以区分炒作与实际，有才能分析行业内新的提高，将其既有、公道的布局和看法举行整合，从而发觉创业时机和市场机会。

金融科技与数据分析硕士（Master of Science in Financial Technology and Data Analytics）

这门课程渴望在不休厘革的金融科技天下中，为学生培养职业生活的必备武艺。

课程吸取了工程、商业、执法和统计等多个范畴的专业知识，构成了一个以武艺为重点的跨学科课程。

经过这些课程，学生将取得在金融行业厘革情况中所需的基本金融科技武艺，以及对最新行业趋向的了解。

学习该门课程的学生，将把握AI、区块链、大数据分析、金融敲诈分析等多项武艺才能，应该可以胜任必要强壮武艺武艺的各种金融行业事情。

统计学硕士（Master of Statistics）

哀求统计学硕士的候选人，应具有矩阵和微积分、低级统计和线性建模的知识。

这门课程会对学生举行统计学原理和实践的严厉培训。它十分重申使用，目标是经过盘算机帮助和实践履历，为候选人在各个范畴的深开学习、研讨、扣问事情和办理做好准备。

课程对学生提供极大的机动性，无论是渴望取得广泛练习，照旧渴望在风险办理、数据分析或金融统计方面举行专业化练习的学生，都能找到本人合适的办法。

关于专业化主题，学生可以选择中心课程和选修课程。

学院估计，哀求该课程的学生将来自各个学科。同时，学院还保举在任职员哀求，作为兼职学生到场，相似或不同背景的学生在互动中都市获益。

别的，课程也合顺应届毕业生作为整日制学生来哀求，以取得研讨生学位。

马毅出任首任院长

马毅传授是IEEE、ACM和SIAM的会士，现在承继加州大学伯克利分校电气工程与盘算机封建（EECS）系传授、香港大学数据封建研讨所的首任所长、香港大学盘算机封建系主任，以及香港大学盘算与数据封建学院的首任院长。

他于1995年在清华大学取得主动化学士学位和使用数学学位。

在加州大学伯克利分校，他分散于1997年和2000年取得EECS硕士学位和数学硕士学位，并于2000年取得EECS博士学位。

在此之前，他曾于2000年至2011年在在伊利诺伊大学厄巴纳-香槟分校（UIUC）电气与盘算机工程系承继助理传授和副传授（现为兼职传授）。

2009年至2014年，承继微软亚洲研讨院盘算机视觉组主任及首席研讨员。2014年至2017年，承继上海科技大学信息封建与武艺学院传授、实行院长。

别的，他还在Coordinated Science Laboratory的决定与控制小组和Beckman Institute的图像构成与处理小组承继研讨传授。

学术办事方面，马传授自2012年起开头承继「IMA信息与推理杂志」的创刊副主编，自2018年起承继「SIAM数据封建数学杂志」（SIMODS）的创刊副主编。

此前，曾在2007年至2011年承继「IEEE形式分析与机器智能汇刊」（TPAMI）副主编，2010年至2014年承继「国际盘算机视觉杂志」（IJCV）副主编，2013年至2017年承继「IEEE信息论汇刊」创刊副主编，以及「SIAM影像封建杂志」创刊副主编。

并且，还曾在2015年至2017年承继「IEEE信号处理杂志」的高等编委，在2010年和2011年承继「IEEE会刊」和「IEEE信号处理杂志」特刊的首席客座编纂。

在聚会会议方面，他是2024年创办「繁复与学习」（CPAL）的团结创始人之一，曾多次承继ICCV、CVPR和NIPS的范畴主席，并承继ICCV 2013（澳大利亚）的步骤主席和ICCV 2015（智利）的大会主席。

马传授的研讨兴致包含3D盘算机视觉、高维数据的低维模子、可扩展优化与机器学习以及智能机器。他的事情在天然图像支解、妥当的人脸识别以及图像对齐和校正等范畴有广泛使用。

迩来的研讨主题包含大范围3D几多重修与交互，以及低维模子与深度网络之间的干系。已往的研讨主题包含高维数据的希罕表现和低秩迫近、高维数据的聚类、紧缩和分类，以及从图像重修3D布局。

马传授公布了凌驾一百篇颠末偕行评审的文章，并出书了两本广受接待的教科书：《An Invitation to 3-D Vision》（2003年），《Generalized Principal Component Analysis》（2016年）。

最新的教科书《High-dimensional Data Analysis with Low-dimensional Models》，由剑桥大学出书社于2022年出书。

学术荣誉方面，马传授于2016年被汤森路透的科睿唯安评为举世高被引研讨者，并于2016年4月在《封建》杂志报道的Semantic Scholar中被评为举世盘算机封建范畴最具影响力作者的前50名。

他的博士研讨与S. Soatto、J. Kosecka和S. Sastry一同在1999年国际盘算机视觉聚会会议（ICCV）上取得了David Marr最佳论文奖。

2009年，他与学生Shankar Rao、Hossein Mobahi和Allen Yang一同在亚洲盘算机视觉聚会会议（ACCV）上取得了Sang Uk Lee最佳学生论文奖，并在2015年取得了IMA信息与推理杂志最佳论文奖二等奖。

马传授在2003年取得了国度封建基金会（NSF）的教员早前职业提高（CAREER）奖，并在2001年春季、2002年春季和2006年春季被列入伊利诺伊大学的精良教员名单。

他在2009年取得了微软公司的金星奖，并在2012年取得了微软亚洲研讨院的年度最佳研讨团队奖。

近期论文

AI教父Hinton在90年代，就提出了「深度学习的实质约莫就是紧缩」的看法。

浩繁AI大佬，在种种场合对这个看法性的提法做出了一些履历性的总结，持续扩展了这一实际。

比如，前OpenAI首席封建家Ilya Sutskever曾在UC伯克利的一个AI实际讲座上分享到：「紧缩约莫就是学习的实质！」

近期，马传授和团队提出了一种白盒Transformer架构——CRATE。它经过基本原理构建，拥有丰厚的实际框架，并在种种练习设置中完成了极具竞争力的功能。

具体来说，研讨团队以为，数据表征学习的中心目标是将数据从高维度分布紧缩到低维布局分布，从而完成好效的表征。

这种紧缩可以经过「希罕编码率变小」这个量化目标来权衡。

项目主页：https://ma-lab-berkeley.github.io/CRATE/

研讨团队经过淳厚的优化架构，将紧缩和希罕作为丧失函数，可以迭代地将数据分布紧缩到低维殽杂高斯分布模子，从而推导出相似Transformer的神经网络布局。

这就是构建类Transformer构架的第一性原理。而进一步证实紧缩和去噪之间存在内在等价干系，就可以为构建Decoder提供实际依据，让编码器息争码器具有几乎相反的布局。

研讨团队的实行后果标明，只管架构较简便，CRATE在很多职责和数据集上都能与现有的Transformer模子取得相似的体现，同时其每一层和利用都可以明白表明。

分析后果标明，CRATE干系于标准Transformer的确具有更强的可表明性。

由于固有的数学可表明性，CRATE也为视觉Transformer（ViTs）提供了一种幽默的交换方案。

为了探求架构的可扩展性，研讨职员提出了CRATE-α——在对希罕编码块举行战略性但最小化修正的同时，计划了一种轻量级的练习办法。

项目主页：https://rayjryang.github.io/CRATE-alpha/

MSSA（Multi-head Subspace Self-Attention ）表现紧缩块，ODL（Overcomplete Dictionary Learning）表现希罕编码块

具体来说，CRATE-α主要做了三个修正：

1. 大幅扩展了通道，对希罕编码块举行过参数化（overparameterized），使用过完备字典（overcomplete dictionary）对token表征举行希罕化。

2. 解耦了关联矩阵，在希罕编码块的最初一部中引入一个解耦字典（decoupled dictionary）

3. 添加了残差毗连。

实行后果证实，CRATE-α可以随着模子尺寸和练习数据集的增大而扩展，功能可以持续提升。

比如，CRATE-α-B在ImageNet分类职责上的功能明显凌驾了之前最好的CRATE-B模子，准确率提高了3.7%，到达了83.2%；进一步对模子举行扩展时，CRATE-α-L在ImageNet分类职责上到达了85.1%的准确率。

值得注意的是，模子功能的提升是在坚持乃至加强了CRATE模子可表明性的同时完成的，由于更大尺寸的CRATE-α模子学到的token表征可以天生更高质量的无监督图像支解。

参考材料：

https://x.com/YiMaTweets/status/1822806291313782785