Fix Llama 3 TikToken conversion (#33538)

Commit

1 year ago

Fix Llama 3 TikToken conversion (#33538) * Fix Llama 3 TikToken conversion * No need to add tokens again

References

Author

pcuenca

Parents

transformers 0c718f16 - Fix Llama 3 TikToken conversion (#33538)