Fix Llama 3 TikToken conversion (#33538)

Commit

1 year ago

Fix Llama 3 TikToken conversion (#33538) * Fix Llama 3 TikToken conversion * No need to add tokens again