llama.cpp
29ae62d2 - llama : fix embeddings (#5796)

Commit
1 year ago
llama : fix embeddings (#5796) * llama : fix embeddings ggml-ci * llama : do not use KV cache for non-causal models ggml-ci * embeddings : fix llama_batch_init arg * llama : add pooling switch * llama : distinguish token vs sequence embeddings ggml-ci * llama : assert pooling tensor * llama : simplify causal mask condition ggml-ci * llama : assert input batch with pooling enabled * readme : update API changes list
Author
Parents
  • File
    README.md
  • common
    • File
      common.cpp
  • examples
    • embedding
      • File
        embedding.cpp
    • File
      server-embd.py
    • server
      • File
        server.cpp
  • File
    llama.cpp
  • File
    llama.h
Loading