 Matthias Reso
|
cf678b9bf0
Adjust imports to package structure + cleaned up imports
|
hace 1 año |
|
Matthias Reso
|
02428c992a
Adding vllm as dependency; fix dep install with hatchling
|
hace 1 año |
|
Matthias Reso
|
c8522eb0ff
Remove peft install from src
|
hace 1 año |
|
Matthias Reso
|
4c9cc7d223
Move modules into separate src folder
|
hace 1 año |
 Geeta Chauhan
|
fbc513ec47
adding notes how to get the HF models (#151)
|
hace 1 año |
 Hamid Shojanazeri
|
bcfafd9a0b
adding notes how to get the HF models
|
hace 1 año |
|
Geeta Chauhan
|
cfba150311
adding llama code inference (#144)
|
hace 1 año |
|
Hamid Shojanazeri
|
6105a3f886
clarifying the infilling use-case
|
hace 1 año |
|
Hamid Shojanazeri
|
8b0008433c
fix typos
|
hace 1 año |
|
Hamid Shojanazeri
|
564ef2f628
remove padding logic
|
hace 1 año |
|
Hamid Shojanazeri
|
277a292fbc
adding autotokenizer
|
hace 1 año |
|
Hamid Shojanazeri
|
3f2fb9167e
adding notes to model not supporting infilling
|
hace 1 año |
|
Hamid Shojanazeri
|
c62428b99c
setting defaults of temp and top_p
|
hace 1 año |
|
Hamid Shojanazeri
|
c014ae7cb8
setting BT option to true
|
hace 1 año |
|
Hamid Shojanazeri
|
4fa44e16d9
add note for python llama not suited for llama infilling
|
hace 1 año |
|
Hamid Shojanazeri
|
b18a186385
removing the option to take prompt from cli
|
hace 1 año |
|
Hamid Shojanazeri
|
75991d8795
fix the extra line added and remove take prompt from cli
|
hace 1 año |
|
Hamid Shojanazeri
|
d28fc9898a
addressing doc comments
|
hace 1 año |
|
Hamid Shojanazeri
|
a234d1fe0c
fix typos
|
hace 1 año |
|
Hamid Shojanazeri
|
2d9f4796e8
fixing the output format
|
hace 1 año |
|
Hamid Shojanazeri
|
1e8ea70b26
adding llama code inference
|
hace 1 año |
|
Geeta Chauhan
|
82e05c46e0
fix a bug in the config for use_fast_kernels (#121)
|
hace 1 año |
|
Hamid Shojanazeri
|
971c079aa6
bugfix: remove duplicate load_peft_model (#124)
|
hace 1 año |
 hongbo.mo
|
fcc817e923
bugfix: remove duplicate load_peft_model
|
hace 1 año |
 Brian Vaughan
|
3faf005226
fix a bug in the config for use_fast_kernels
|
hace 1 año |
|
Geeta Chauhan
|
03faba661f
Update paddings (#85)
|
hace 1 año |
|
Geeta Chauhan
|
205e5a4b81
save cpu mem by leveraging FSDP rank0 broadcasting (#77)
|
hace 1 año |
|
Hamid Shojanazeri
|
85a4ed1b65
Merge branch 'main' into update_paddings
|
hace 1 año |
 lchu
|
feaa344af3
resolve conflicts
|
hace 1 año |
|
Geeta Chauhan
|
3f1fef7a00
adding flash attention and xformer memory efficient through PT SDPA (#97)
|
hace 1 año |
