预训练进行的自然语言理解。」
「如果百度或者谷歌，包括碳矽数据可以用我们TD模型的思路把它集成到搜索业务里，我相信一定能更好的提升搜索结果的相关性。」
能够更好的理解用户搜索的问题，自然也就能更好的提供答案。
俞兴沉默了好一会，说道：「吴总，那还是拜托你把关於TD模型的原理再详细的给我一份论述，要是能参照业内的相关研究，那就更好了。」
他隐约发觉到问题了，TD模型似乎是检索式、搜索式应用方面更广，而不是後来主流的可以自由对话的生成式。
这里面或许是TD模型现在路线的研究还没推进到位，或许就是还存在基於Transformer机制上另外的路线。
如果想要验证这一点，只要对比OPENAI的研究就能知道了。
吴恩达察觉到老板的迷惑，但不知道到底是关乎什麽，也就答应了这个要求。
俞兴不确定自己的想法是否幼稚，不过，对於这件事的可能性也不是特别着急，连可以随时询问吴恩达等人的自己都难以摸清，那投资人们就难搞清楚了。
而且，美国之行就可以直接登门拜访请教。
DLF都愿意开源自己研究的东西，不要求其他家把他们研究的东西全部亮出来，对比找找参照总是可以的吧。
就在次日，吴恩达把TD—1模型更详细的材料发了过来。
俞兴推开半天时间，专门窝在办公室里啃这篇邮件。
按照吴恩达的表述，TD—1模型的本质是使用了12层Transformer编码器，再通过双向掩码预训练的自然语言处理模型，总参数量在1.1亿。
俞兴仔细看文件里的描述，怀疑是参数量还不够高的问题，但是，等到反覆浏览之後，另外一处对Transformer论文的描述又引起注意。
由谷歌发布的Transformer论文，它提出的是一套完整的编码器+解码器的架构，编码器用来理解输入的意思，解码器用来生成输出的文本。
俞兴静静的思考，编码器，理解，解码器，生成。
TD—1模型主要使用的是编码器的架构。
他乾脆把相关内容都写在了面前，然後把电话再次打给吴恩达：「吴总，为什麽我们
的TD—1主要是使用编码器，我看Transformer论文不是包含编码器和解码器吗？」
「刚开始我们用Transformer的时候确实是这样，但後来发现两个模块是可以拆开独立使用的。」吴恩达解释道，「我们认为首先得让模型能够读懂意思，最开始我们尝试了两个模块的对比，相同的参数下，编码器模型在语言理解上可以比解码器模型高出至少10%的效果。」
「而且，参数越大，两种模型的效果差距越明显。」
吴恩达没有深入的讲解技术问题，没听到俞总的回应，思考着又说道：「另外，TD模型这种编码器，它的结构更简单，推理更快，可以用更少的参数做出更好的效果，我们其实也参照了过去在百度的经验，TD—1更适合百度那种高并发和低延迟的海量业务场景，部署成本肯定会远低於同样效果的解码器方案。」
俞兴心中的倾向变得更加清晰了。
他轻轻叹了口气：「吴总，我明白了。」
吴恩达不解：「明白什麽了？」
俞兴肯定的说道：「都怪百度。」
都怪百度带来的坏习惯，让吴恩达等人潜意识考虑更适用於它的方案，当然，这仍然只是一种猜想，但验证起来就更简单了。
俞兴基本能够理解这里面可能存在的不同技-->>