主题:
字号:
16
行距:
2.0

第686章 纯注意力机制?你们竟敢这么想[3 / 5]

屏幕工作。有人在跑代码,有人在白板上写公式,角落里两个人正对着一张打印出来的论文激烈讨论。

一个戴眼镜的年轻人从工位上站起来,朝他们走过来。

“林博士,赵博士?”他伸出手。“任少卿。论文你们应该看过了。”

林之远握上去。这只手的主人,就是那篇让全球AI界炸锅的论文的第一作者。

比他想象中年轻得多,看着也就二十五六岁。

“看过了。复现过了。数据完全对得上。”

任少卿笑了一下:“那就好。省得我还要解释为什么152层能训练。”

楼梯口传来脚步声。一个身材偏瘦、穿着黑色连帽衫的男人走下来,手里端着一杯咖啡,眼睛下面有明显的黑眼圈。

“楼天城。”任少卿介绍道。“我们的系统架构负责人。昨晚应该又通宵了。”

楼天城点了点头,看了一眼林之远的胸牌:

“看资料,你在斯坦福做的是推荐算法方向?”

“对。博士论文写的是用深度学习做推荐系统。”

“那正好。”楼天城喝了口咖啡。

“我们现在在做一个东西,需要你这个方向的人。”

他转身走向白板,拿起马克笔,刷刷刷写了一串公式。

林之远凑过去看。

那是一个注意力权重的数学表达式。

所谓“注意力机制”,通俗地说,就是让AI在处理一段信息时,能像人类阅读一样,自动把目光聚焦在最重要的部分,而不是平均分配精力。

但这个公式和他在论文里见过的不一样。

传统的注意力机制,是让AI在翻译时“回头看”原文。

比如翻译一句英文时,每写一个中文词,都回头看看英文原句里哪个词最相关。

而白板上这个公式,做的事情完全不同:它让一句话里的每个词,都去“看”这句话里的其他所有词。

不是回头看别人,是自己看自己。

“你们在做……序列内部的自相关计算?”

林之远的声音不自觉地提高了。

任少卿和楼天城对视了一眼。

“差不多。”任少卿说。

“我们在探索一种全新的方式来让AI理解语言。不依赖传统的循环结构。就是那种必须一个词一个词按顺序处理的老方法,而是完全用注意力机制,让所有词同时互相‘看见’彼此

本章未完,请点击下一页继续阅读!

分手后,女孩跪求神医原谅
狐颜乱语
提离婚你装高冷,我发财了你发疯?
云中觅
陆昭菱周时阅
安卿心
我在贵族学院当npc
江尸道士
别过来,老实Beta真生不出崽
北山荒
想回原世界过平凡生活
青皮树
【综名著】十九世纪冒险家
林华兰
武道洞玄
尘安不朽
神豪太青涩,校花闺蜜团只好倒追
来当金番了
黄埔:这是谁把友军放我部队里的
唐珙
他绝嗣,我替嫁,三年五子炸翻全京城
大般若
八零丈夫兼祧两房?我转身嫁军少
一朵花儿开
美恐:我,人间真神
白黄白
盗墓:霍格沃滋归来,我整顿九门
乐加和元宝
穿越末世居然带了个养老系统
一册竹简
饰演封于修,女友神仙姐姐
我不吃西瓜1
快门异响,即刻伏魔
隋居逸
踩着男配们上位后,团宠在末世被亲哭
爻枝
禁止离婚!江少夜夜跪地轻哄
花惊鹊
海贼:我朝九晚五,战国被气炸
失眠到三点
徒儿,你已无敌,下山祸害众生吧
沐野孤城
我的心动女邻居
火烧风
不装了,其实我带的是特种部队
紫燕悠
足球:拒绝国足,我入德国国家队
不正不
南部档案不一样的张家人
给我一个鸡腿
武道霸主王腾
蒙面加菲猫
妖孽下山,五位师姐超宠我
面瘫的苏小离
穿成依萍,我带雪姨制霸上海滩
不想吃面的11
海贼:我在海军朝九晚五
失眠到三点
作精表妹不作后,清冷医生急了
作者小包子
富婿奶爸赵旭李晴晴
韦小鸨
鸿天神尊
天下剑宗
女尊:有难言之症的她穿成了女帝
周小雨y
上门女婿赵旭
韦小鸨
尊敬的扫帚骑士大人
纳西利亚
天魔道圣
蓝色孤影
九转御龙诀
虚尘
三国:让你代管冀州,怎么万邦来朝了
重开的蛇蛇
我开养老院这些年
金十六
重回1982小渔村
米饭的米
公若不弃,愿拜为义父
辣酱热干面
第四天灾从不相信钢铁洪流!
喀秋莎第一可爱
修仙界只有妖女了是吗
月下千早
四合院之扮猪吃老虎
戈壁孤狼夜
青山
会说话的肘子
仙命在我
杜养吾
半岛头号玩咖!
HKDoll
被夺一切后我成了仙道魁首
盛唐无夜
重生鉴宝:我真没想当专家
眀智
华娱从洪世贤开始
在下励志师