跳到主要内容
检索

Connor Makowski

1 篇关联报道

订阅更新
  1. arXiv

    Functionalizer 把大小写、变音符号与重复字符拆成可逆操作码,在语料穷尽条件下把词表需求最多压缩 19.7%,并让 98M 参数 GPT-2 的 Python 语法通过率从 7.70% 升到 9.12%

    该工作提出 Functionalizer——一个无损的预分词框架,把大小写、变音符号和字符重复等正字法变化分解为 Unicode 私用区中的操作码/操作数前缀流,在自然语言与代码语料上实现完整覆盖的同时把所需词表槽位最多减少 19.7%,并在 98M 参数 GPT-2 上把 Python 语法有效率从 7.70% 提升到 9.12%、把 FineWeb-Edu 散文的重复 n-gram 从 66.0% 降到 55.8%。

已读完全部报道