Inicio Explorar Ayuda
Registro Iniciar sesión
marx
/
llama-recipes
1
0
Fork 0
Archivos Incidencias 0 Pull Requests 0 Wiki
Árbol: bf152a7dcb
Ramas Etiquetas
llama-recipes
/
src
/
llama_recipes
/
inference
Matthias Reso ce9501f22c remove relative imports hace 1 año
..
code_llama ce9501f22c remove relative imports hace 1 año
hf_text_generation_inference e804e2ba3b Address more spell checker issues hace 1 año
README.md 18d4c3c580 Fix broken links hace 1 año
__init__.py 207d2f80e9 Make code-llama and hf-tgi inference runnable as module hace 1 año
__main__.py ce9501f22c remove relative imports hace 1 año
chat_completion.py ce9501f22c remove relative imports hace 1 año
chat_utils.py cf678b9bf0 Adjust imports to package structure + cleaned up imports hace 1 año
chats.json 4c9cc7d223 Move modules into separate src folder hace 1 año
checkpoint_converter_fsdp_hf.py ce9501f22c remove relative imports hace 1 año
inference.py ce9501f22c remove relative imports hace 1 año
model_utils.py 4c9cc7d223 Move modules into separate src folder hace 1 año
safety_utils.py cf678b9bf0 Adjust imports to package structure + cleaned up imports hace 1 año
samsum_prompt.txt 4c9cc7d223 Move modules into separate src folder hace 1 año
vLLM_inference.py cf678b9bf0 Adjust imports to package structure + cleaned up imports hace 1 año

README.md

Inference

This folder contains inference examples for Llama 2. So far, we have provided support for three methods of inference:

  1. inference script script provides support for Hugging Face accelerate, PEFT and FSDP fine tuned models.

  2. vLLM_inference.py script takes advantage of vLLM's paged attention concept for low latency.

  3. The hf_text_generation_inference folder contains information on Hugging Face Text Generation Inference (TGI).

For more in depth information on inference including inference safety checks and examples, see the inference documentation here.