IDSIA：1988年以来卢加诺的人工智能

安杰洛·达莱·莫莱及其研究所

本章介绍的研究机构中历史最悠久的一家，是由一位私人捐助者创立的，比该州拥有大学还要早八年。安杰洛·达莱·莫莱（1908–2002）是一位来自威尼托大区的意大利企业家，他凭借洋蓟利口酒Cynar发家，并将大部分财富用于促进有关生活质量以及人与机器关系的研究。¹他在瑞士设立了一个信托基金，用于资助传统大学体系之外的研究，并创建了三家研究所：卢加诺的IDSIA、马蒂尼的IDIAP和日内瓦的ISSCo。如今，这三家研究所均已并入各自所在地的学术机构。²达勒·莫勒人工智能研究所（IDSIA）于1988年在卢加诺成立。用该研究所的话来说，达勒·莫勒“设想了一个技术进步与人类发展共同提升生活质量的世界”。³在2023年9月庆祝该研究所成立三十五周年之际，他的愿景被概括为：让机器理解人类，从而使人们不再需要用二进制代码与计算机交流。⁴IDSIA最初是由达勒·莫勒基金会资助的私立研究所。2000年，它成为同时隶属于瑞士意大利语区大学（USI）和瑞士意大利语区应用科技大学（SUPSI）的公立研究机构。自此，它在两所院校之间发挥“桥梁”作用，开展“从基础研究到应用研究”的工作，并将知识转化为实际应用。⁵其办公地点位于卢加诺-维加内洛（Lugano-Viganello）的USI与SUPSI东校区。2023年，该研究所拥有130名员工，由所长安德烈亚·埃米利奥·里佐利（Andrea Emilio Rizzoli）以及三位科学主任于尔根·施密德胡伯（Jürgen Schmidhuber）、马尔科·扎法隆（Marco Zaffalon）和切萨雷·阿利皮（Cesare Alippi）共同领导。⁶该研究所的研究领域涵盖机器学习、神经网络、机器人技术、计算机视觉、概率推理、优化、计算数学、网络安全以及人机交互。⁷

长短期记忆与深度学习的历史

IDSIA的科学声誉首先建立在Jürgen Schmidhuber及其团队关于循环神经网络的研究基础上。1997年，Sepp Hochreiter和Jürgen Schmidhuber在《Neural Computation》期刊上发表了题为“长短期记忆”（长短期记忆，LSTM）。该论文描述了一种带有记忆单元和门控机制的循环神经网络架构，能够学习长数据序列中的依赖关系；而早期的循环网络无法解决这一问题，因为训练中使用的误差信号会随着时间的推移而消失或爆炸。⁸Hochreiter在1991年于慕尼黑工业大学完成的毕业论文中提出了对梯度消失问题的分析，当时Schmidhuber是他的导师。此后数年间，施密德胡伯的博士生和合作者（包括Felix Gers、Alex Graves等人）在IDSIA对LSTM架构进行了改进，增加了“遗忘门”，并开发了用于序列标注的训练方法。⁹

实践上的突破出现在2000年代末。据施密德胡伯本人所述，2009年，一个采用其团队联结主义时间分类方法训练的LSTM，成为首个在国际模式识别竞赛（连笔手写识别）中获胜的循环神经网络。2011年，其团队在图形处理器上训练的深度前馈网络DanNet成为首个赢得计算机视觉竞赛的此类网络，并在一项交通标志识别竞赛中取得了该团队所称的超越人类的表现。2015年5月，该团队发表了Highway Network，一种具有数百层的极深前馈网络；据施密德胡伯（Schmidhuber）所述，微软研究人员于2015年12月发表的残差网络（ResNet）是其门常开版本。¹⁰2009年至2012年间，该研究所开发的神经网络赢得了八项国际模式识别和机器学习竞赛。¹¹

LSTM成为2010年代应用最广泛的神经网络架构之一。施密德胡伯的个人网页列举了其在以下领域的应用：Android智能手机上的语音识别、Google Translate和Facebook的机器翻译、苹果的Siri和QuickType，以及亚马逊Alexa的语音响应。¹²这些说法来自该方法的发明者本人。它们与相关公司的公开资料相一致：这些公司在2010年代中期曾描述其语音和翻译产品中基于LSTM的系统，此后，2017年提出的Transformer架构在大多数语言应用中取代了循环神经网络。¹³深度学习史上的功劳归属一直存在争议，施密德胡伯（Schmidhuber）一直是关于思想优先权之争的重要参与者。就本书而言，只需指出：现代机器学习所依赖的一些方法是在卢加诺开发的，而且该研究所的工作在该领域的标准论述中均有引用。¹⁴

注释

1. 维基百科（意大利语），“Angelo Dalle Molle”，https://it.wikipedia.org/wiki/Angelo_Dalle_Molle（作为最后手段查阅）（生于梅斯特雷；1952年创制洋蓟开胃酒Cynar；在卢加诺创立Dalle Molle基金会，致力于人工智能研究）。该条目记载的逝世年份为2001年，而该研究所自身的网页则记载为1908–2002年（见下文）。 ↩
2. SUPSI，IDSIA，“Istituto”（见上文）；USI，“达勒·莫莱人工智能研究所（IDSIA USI-SUPSI）”，https://search.usi.ch/it/unita-organizzative/351。 ↩
3. SUPSI，IDSIA，“研究所”（见上文）（1988年由安杰洛·达勒·莫莱（Angelo Dalle Molle，1908–2002）在卢加诺创立）。 ↩
4. “IDSIA成立35周年”，laRegione，2023年9月27日，https://www.laregione.ch/cantone/ticino/1700339/servizi。 ↩
5. SUPSI，IDSIA，“Istituto”（见上文）（自2000年起隶属于USI和SUPSI）；USI，IDSIA单位页面（见上文）（“bridge”；“from fundamental to applied research”）。关于2000年转为公立研究机构一事，亦见于维基百科，“达莱莫莱人工智能研究所”，https://en.wikipedia.org/wiki/Dalle_Molle_Institute_for_Artificial_Intelligence_Research（作为最后手段查阅）。 ↩
6. laRegione，2023年9月27日（见上文）。 ↩
7. USI，IDSIA单位页面（见上文），列出了八十多个专业领域。 ↩
8. Sepp Hochreiter和Jürgen Schmidhuber，《长短期记忆（Long Short-Term Memory）》，《神经计算》（Neural Computation）第9卷（1997年），第8期，1735–1780页，引自Jürgen Schmidhuber关于被引用次数最多的神经网络的网页，https://people.idsia.ch/~juergen/most-cited-neural-nets.html（参考文献[LSTM1]）。 ↩
9. Felix A. Gers、Jürgen Schmidhuber和Fred Cummins，“《学习遗忘：基于LSTM的持续预测》”，《神经计算》第12卷（2000年），第10期，第2451–2471页（同一网页上的参考文献[LSTM2]，见上文）；A. Graves、S. Fernández、F. 戈麦斯和J. 施密德胡伯，“联结主义时序分类：利用循环神经网络对未分段序列数据进行标注”，ICML 2006，匹兹堡，引自于尔根·施密德胡伯，“现代人工智能与深度学习注释史”（2022），https://people.idsia.ch/~juergen/deep-learning-history.html，该文亦述及Hochreiter于1991年在慕尼黑工业大学由Schmidhuber指导完成的毕业论文。该论文及指导关系亦见于Wikipedia，“Jürgen 施密德胡伯》，https://en.wikipedia.org/wiki/J%C3%BCrgen_Schmidhuber（作为最后手段查阅）。 ↩
10. Jürgen Schmidhuber，IDSIA个人主页，https://people.idsia.ch/~juergen/（“In 2009年，其团队通过CTC训练的长短期记忆网络（LSTM）成为首个在国际模式识别竞赛中获胜的循环神经网络”；“2011年，其团队开发的DanNet成为首个在计算机视觉竞赛中获胜的前馈神经网络，表现超越人类”；2015年5月的Highway Net和2015年12月的ResNet）。 ↩
11. 维基百科，“达勒·莫莱人工智能研究所”（见上文）（“在2009–2012年间赢得了八项国际模式识别和机器学习竞赛”）。 ↩
12. Schmidhuber，个人主页（见上文）。 ↩
13. H. Sak、A. Senior、K. Rao、F. Beaufays和J. Schalkwyk（Google语音团队），“Google语音搜索：更快、更准确”，Google Research Blog，2015年9月，引自Schmidhuber，“《注释历史》》（见上文），该文还将LSTM在Google Translate中的应用时间定为2016年，并将Ashish Vaswani等人关于Transformer的论文《Attention Is All You Need》的发表时间定为2017年。 ↩
14. 参见例如Jürgen Schmidhuber，《神经网络中的深度学习：概述》，《神经网络》第61卷（2015年），第85–117页（Schmidhuber，《《注释历史》中的参考文献[DL1]，见上文），以及《注释历史》一文本身，其中阐述了他对优先权之争的看法。 ↩

仅供一般参考。本文不构成法律或税务意见，不能替代针对个案的咨询，亦不建立律师与客户之间的委托关系。本文反映截至 十月 2026 的法律状况。