目前中国AI生态系统包括了大型互联网公司以及新兴AI垂直公司,表示从n层的第i个节点连接到n+1层第j个节点的连接

 玩具模型     |      2020-01-03 19:55

作者:■ 陈思涵 高彦菁

在从魔都回帝都的火车上,实在是睡不着,主要是不知道车厢哪个隔间里的大叔或者大婶的脚实在是杀伤力过于强大,我被熏得完全无法入眠,所以就起来把从帝都到魔都的火车上所想到的一个idea给写下来。
纯属无聊,不具备任何现实意义,使用到的数学不晚于大二。

高盛在近日发布的中国AI报告《China’s Rise in Artificial Intelligence》中指出,中国有着仅次于美国的全球第二大AI生态系统。

2017年10月31日,Eyes去台湾大学交流的申请正式通过了。这也意味着,从此两个女孩之间的距离就要从C床到D床的一米,变为一湾台湾海峡那么远。像双子星一样每天形影不离的我们,将要面临长达半年的分别。所以,那些一直不敢声张的宇宙甜话,是时候和对方聊聊了。


其实中国的AI市场早在2014年左右便开始迅速增长,在2016年集中爆发。虽然中国的人工智能起步较晚,但随着整体科研水平的提高和产业布局的不断深入,我认为未来将会有更多的技术突破和垂直领域的应用。

Echo写给Eyes的一封信:

深度学习是这么一个过程,它将节点分解为输入层、输出层以及中间的隐藏层,且同一层之间的节点不能相连,只能与相邻层的节点相连。
如果我们将输入层的序号定为0而将输出层的序号定位N,那么节点也可以赋予一个序号列,记为$x_{i,n}$,其中n表示层的序号,i表示x在层中的序号。激活函数记为f,连接权重记为$omega^i_{i,n}$,表示从n层的第i个节点连接到n+1层第j个节点的连接。这样一个多层神经网络中的数据流转过程就可以记为下述方程:

中国的AI生态系统

关于你的一切,我都很好奇。我该怎么和你形容,与你相遇有多幸运呢。我想你一定很想知道,你在我心里是个什么样的女孩吧。

这里采用Einstein约定,相同指标自动求和。

目前中国AI生态系统包括了大型互联网公司以及新兴AI垂直公司。而从整个产业链来看,AI行业可大体分为芯片和硬件、AI基础服务和算法框架、技术层以及应用层。

你是我的“买一送一”女孩。每一个“买一送一”或“第二杯半价”的活动,都有我们俩的身影。我们曾为了麦当劳的限量款轻松熊玩具,不惜一下课就赶去排长队,两位大学生手捧“儿童套餐”还乐在其中;我们曾在秋天的午后徜徉于校园,收集银杏、枫叶,那些不为人注意的碎片全是我们眼中的宝贝;每一家店都有我们最爱的秘密口味:一杯四季春茶、抹茶可可碎片星冰乐、某个1号甜品……一起痴心说笑,放心吃喝,谈笑风生,缅怀时光,那样的日子,一眨眼就过去了。

上述方程可以通过如下符号形式改写:

1. 芯片和硬件

你是我的相册女孩。和大学同学的100张合照里,有99张都是你。相似的发型,相似的穿衣风格,甚至成了别人眼中的“双胞胎”。宇宙吸引力法则告诉我们:美好的少女总是会一步步走近。于是,我们有一个不成文的约定:每个月都要拍下一张合照,这样等到2020年6月毕业,我们的闺蜜纪念册里,就一定记载了很多个春夏秋冬,收藏了很多的气味和回忆吧。

我们将原来层内指标i改记为x,每个节点的输出值从x改记为$phi$,层序号用t标记,连接权重改成了函数G。
这只是符号的改变,意义并没有发生丝毫变化。
但这个方程的形式却值得玩味,因为如果忽略激活函数f,那么下述方程的形式其实是量子力学中用两点关联函数(Green函数)改写的离散本征态系统的波函数演化方程:

人工智能计算所用到的芯片主要有CPU、GPU、FPGA、ASIC。

你还是我的节日女孩。2016年12月31日,在青春广场跨年焰火晚会倒计时数到“1”时,你冲过来抱住了我,第一个和我说了“新年快乐!”。后来的我,一直记得当时夜空绚烂的烟火,也记得你的明眸闪烁。而后来的你,也不曾缺席我生命中每一个值得纪念的日子。

因此,一个很直接的想法,就是如果x是连续,会怎么样?
也即,如果我们将离散的每一层节点构成的空间,连续化为一维空间,会得到什么?
答案很直接:

在芯片和硬件方面的玩家主要有:寒武纪科技、深鉴科技、英伟达等,这一点真实遗憾,中国和世界领先的芯片厂商还有较大的差距。

终于,你也要成为,我的彼岸女孩啦。2018年,你会在台北,而我在福州。跨越山和海,我们都会依然保持着内心的理想,在平行时空里,互相鼓舞成为更好的人。

第二步直接取了反函数,这对于sigmoid激活函数来说不成问题,但对于ReLU激活函数来说恐怕不能这儿干,因为其在负半轴是常值函数0,反函数不存在。对于基于ReLU改造的Swish激活函数也不好用,因为它在负半轴非单调,会出现双值,所以也没有反函数。
因此,这个写法颇为形式性。

2. AI基础服务

关于未来的这一切,你都准备好了吗?

对空间(神经元节点指标)的连续化挺“顺利”的,如果我们忽略反函数不存在所带来的问题的话。
而对于时间(神经元层指标)的连续化则有点麻烦。

AI基础服务指进行深度学习研究,并提供深度学习平台和能力的公司,包括推出AI平台的云计算厂商,如UCloud、阿里云,和其他AI创业公司。

                                                                                                       From:Echo

我们先来对上面的结果做一些形变:

据了解,UCloud根据AI产品不同阶段分别推出针对“模型训练/验证”阶段的AI-Train产品,用户上传算法和数据集,最终训练出模型;还有针对“在线服务”的AI-Service产品,在模型训练完成,或者是有确认模型后。用户上传模型和推理代码即可使用AI服务。

                2017.11.3

然后就可以做很强硬的形式上的连续化:

阿里云在全球范围内率先实现人工智能技术产业化,推出ET城市大脑、ET医疗大脑、ET工业大脑、ET环境大脑等等。

Eyes写给Echo的回信:

这里其实就等价于引入了一个隐形的归一化条件:

3. 算法框架

我准备好了,从一开始就准备好了。

或者可以写得对激活函数更加“普适”一点:

算法框架主要玩家是百度、TensorFlow、Caffe和MXnet。

2016年暑假,得知你我来自同一个地区,又有着许许多多共同的爱好,我的心里就美滋滋地绽开了花朵:这女孩儿一定跟我相处得很愉快!事实确实如此。我们一见如故,意趣相投——时常互相分享有趣的书籍、每晚睡前两人写完了手帐温暖地互道晚安;偶尔也会忙里偷闲,“私奔”到购物广场去喝一碗甜甜的烧仙草……每每感觉压力太大时,我总是第一时间想到你,而善解人意的你永远随叫随到,用那些清甜的话语为我减压。Hey,你不就像是我漫漫人生中的强心剂吗?

更准确地说,由于这里无论是节点输出值$phi$还是激活函数f还是两点连接函数G,都是已知的,所以上式的归一化要求事实上是对G的一次归一化调整,即:

百度是全球人工智能领域的先行者, 这和技术、海外出身的李彦宏不无关系,前段时间,李彦宏和智能驾驶汽车上了五环,轰动了全中国。2016年,百度便开放自家深度学习平台源代码的第一家中国公司(可以用于语音/面部识别、数据分析、深度学习等方面的PaddlePaddle)。如果说,百度已经从一家以搜索为主的互联网公司转变成以人工智能为主要驱动的科技公司,毫不为过。