NetGPT

Paper：NetGPT: Generative Pretrained Transformer for Network Traffic

首先是 Tokenizer 部分，前面的 TrafficGPT 用空格巧妙的改进了分词器，而 TrafficLLM 则是重新设计了分词器，这篇的 NetGPT 引入了 Wordpiece 算法构建词表。

同样是采用 GPT-2 作为基础模型，进行自回归预训练，也就是预测下一个词块。

image.png

另外论文针对网络特性进行了微调优化，具体是说，在微调时随机交换各个字段的位置（类似数据增强）。

推理示例如下：

image.png