llama.cpp
a3f84faf - vocab : keep </s> NORMAL in PLaMo-2 and PLaMo-3 (#29580)

Commit
41 days ago
vocab : keep </s> NORMAL in PLaMo-2 and PLaMo-3 (#29580) * vocab : keep </s> NORMAL in PLaMo-2 and PLaMo-3 The PLaMo-2 and PLaMo-3 vocabularies mark </s> as NORMAL. Current EOG token heuristic matched it by text and added its attribute to CONTROL. Skip this heuristic for the PLAMO2 vocab type so </s> stays NORMAL and is not treated as EOG. * use <|plamo:eos|> for detection
Author
Parents
Loading