iPhone中隐藏的机器人：基于GPT-2架构，带有emoji分词器，由MIT校友开发

发烧友们已经揭开了苹果transformer的“秘密”

在大型模型浪潮的影响下，即使是保守的苹果公司，在每次发布会上也必定会提及"Transformer"

比如，在今年的WWDC上，苹果就已宣布，船新版本的iOS和macOS将内置Transformer语言模型，以提供带文本预测功能的输入法。

虽然苹果官方没有透露更多信息，但技术爱好者们却迫不及待

一位名叫Jack Cook的小哥，成功地翻开了macOS Sonoma beta的新篇章，意外地发现了许多新的信息

• 模型架构上，Cook小哥认为苹果的语言模型更像是基于GPT-2打造的。
• 在分词器（tokenizer）方面，表情符号在其中十分突出。

更多细节，一起来看。

基于GPT-2架构

首先，让我们回顾一下苹果基于Transformer的语言模型在iPhone、MacBook等设备上能够实现的功能

需要重写的内容是：主要体现在输入法方面。在语言模型的支持下，苹果自带的输入法可以实现单词预测和纠错的功能

Jack Cook小哥具体测试了一下，发现这个功能主要实现的是针对单个单词的预测。

需要进行改写的内容是：△来源：Jack Cook的博客文章

模型有时也会预测即将出现的多个单词，但这仅限于句子语义十分明显的情况，比较类似于Gmail里的自动完成功能。

需要进行改写的内容是：△来源：Jack Cook的博客文章

那么这个模型具体被装在了哪里？一通深入挖掘之后，Cook小哥确定：

我在 /System/Library/LinguisticData/RequiredAssets_en.bundle/AssetData/en.lm/unilm.bundle 中找到了预测文本模型。

原因是：

1. unilm.bundle中的许多文件在macOS Ventura（13.5）里并不存在，仅出现在了新版本macOS Sonoma beta（14.0）里。
2. unilm.bundle中存在一个sp.dat文件，这在Ventura和Sonoma beta里都能找到，但Sonoma beta的版本中更新了明显像是分词器的一组token。
3. sp.dat中token的数量跟unilm.bundle中的两个文件——unilm_joint_cpu.espresso.shape和unilm_joint_ane.espresso.shape能匹配得上。这两个文件描述了Espresso/CoreML模型中各层的形状。

进一步推测，根据unilm_joint_cpu中描述的网络结构，小哥认为苹果模型是基于GPT-2架构构建的

主要的组成部分包括令牌嵌入、位置编码、解码器块和输出层，在每个解码器块中都会出现类似于"gpt2_transformer_layer_3d"这样的词汇

需要进行改写的内容是：△来源：Jack Cook的博客文章

根据每层大小，小哥还推测苹果模型约有3400万个参数，隐藏层大小为512。换句话说，它比GPT-2最小版本还要小

小哥认为，这主要是因为苹果想要一种不太耗电，但同时能够快速、频繁运行的模型。

而苹果官方在WWDC上的说法是，“每点击一个键，iPhone就会运行模型一次”。

然而，这也意味着这个文本预测模型无法很好地续写句子或段落

需要进行改写的内容是：△来源：Jack Cook的博客文章

模型架构之外，Cook小哥还挖出了分词器（tokenizer）的相关信息。

他在unilm.bundle/sp.dat里发现了一组数量为15000的token，值得关注的是，其中包含100个emoji。

Cook揭秘库克

虽然这个Cook不是那个库克，但小哥的博客文章一发布，仍然吸引了很多关注

基于他的发现，网友们热烈地讨论起苹果在用户体验和前沿技术应用之间的平衡大法。

回到Jack Cook本人，他本科和硕士毕业于MIT的计算机专业，目前还在攻读牛津大学的互联网社会科学硕士学位。

他之前曾在英伟达实习，专注于研究BERT等语言模型。他还担任《纽约时报》的自然语言处理高级研发工程师

以上就是iPhone中隐藏的机器人：基于GPT-2架构，带有emoji分词器，由MIT校友开发的详细内容，更多请关注php中文网其它相关文章！