Inicio Explorar Ayuda
Registro Iniciar sesión
marx
/
llama-recipes
1
0
Fork 0
Archivos Incidencias 0 Pull Requests 0 Wiki
Árbol: 822b37bbc0
Ramas Etiquetas
llama-recipes
/
inference
sekyonda 822b37bbc0 Update README.md hace 1 año
..
hf-text-generation-inference 4767f09ecd Initial commit hace 1 año
README.md 822b37bbc0 Update README.md hace 1 año
chat_completion.py 557e881fcc aliginng the pad token with HF latest hace 1 año
chat_utils.py 4767f09ecd Initial commit hace 1 año
chats.json 4767f09ecd Initial commit hace 1 año
inference.py 7ec390bfc8 aliging special tokens in toeknizer with HF latest hace 1 año
model_utils.py 4767f09ecd Initial commit hace 1 año
safety_utils.py 4767f09ecd Initial commit hace 1 año
samsum_prompt.txt 4767f09ecd Initial commit hace 1 año
vLLM_inference.py 4767f09ecd Initial commit hace 1 año

README.md

Inference

This folder contains inference examples for Llama 2. So far, we have provided support for three methods of inference:

  1. inference script script provides support for Hugging Face accelerate and PEFT fine tuned models.

  2. vLLM_inference.py script takes advantage of vLLM's paged attention concept for low latency.

  3. The hf-text-generation-inference folder contains information on Hugging Face Text Generation Inference (TGI).

For more in depth information on inference including inference safety checks and examples, see the inference documentation here.