 Chester Hu
|
986847f685
Merge branch 'main' into benchmark-inference-throughput-cloud-api
|
пре 1 година |
 Hamid Shojanazeri
|
622200340e
Codellama 70b instruct code example (#365)
|
пре 1 година |
|
Hamid Shojanazeri
|
d51d2cce9c
adding sdpa for flash attn
|
пре 1 година |
|
Hamid Shojanazeri
|
db8af96ff0
update the model load with native flash attn
|
пре 1 година |
|
Hamid Shojanazeri
|
9a2434f408
update the fine-tuning script
|
пре 1 година |
|
Hamid Shojanazeri
|
8776ceb833
update with the HF flash attention native
|
пре 1 година |
|
Hamid Shojanazeri
|
6853267317
update with the HF flash attention native
|
пре 1 година |
|
Hamid Shojanazeri
|
0854a74df1
update readme
|
пре 1 година |
|
Hamid Shojanazeri
|
ce966a97e0
add native BT
|
пре 1 година |
|
Hamid Shojanazeri
|
59b8e3a5a3
update main readme
|
пре 1 година |
|
Hamid Shojanazeri
|
3484a06b01
update main readme
|
пре 1 година |
|
Hamid Shojanazeri
|
9d5fd77d70
fix typos
|
пре 1 година |
|
Hamid Shojanazeri
|
273baf58f0
update READMEs
|
пре 1 година |
|
Hamid Shojanazeri
|
78315e9eb0
adding llama70b instruct code example
|
пре 1 година |
|
Hamid Shojanazeri
|
a2f5b66b1f
update the code with llama-guard safety check
|
пре 1 година |
|
Hamid Shojanazeri
|
85ee7bcc24
update the code with llama-guard safety check
|
пре 1 година |
|
Hamid Shojanazeri
|
dae93e3da7
update inference readme for codellama 70B instruct
|
пре 1 година |
|
Hamid Shojanazeri
|
ad5ff2dcb8
Revert "Flop counter, profiling and GC (#357)" (#361)
|
пре 1 година |
|
Hamid Shojanazeri
|
162be4c045
Revert "Flop counter, profiling and GC (#357)"
|
пре 1 година |
|
Hamid Shojanazeri
|
2145e4729f
Eval harness (#356)
|
пре 1 година |
|
Hamid Shojanazeri
|
c7cdb6b46c
fixing the link
|
пре 1 година |
|
Hamid Shojanazeri
|
4530d543f8
Flop counter, profiling and GC (#357)
|
пре 1 година |
|
Hamid Shojanazeri
|
1a09fb5d27
add logging for setting profiler
|
пре 1 година |
|
Hamid Shojanazeri
|
71d137c722
Merge branch 'main' into flop_counter_gc
|
пре 1 година |
|
Hamid Shojanazeri
|
f8a524f506
address comments
|
пре 1 година |
|
Hamid Shojanazeri
|
1e330d5a55
update
|
пре 1 година |
|
Hamid Shojanazeri
|
43e4c11d9d
add vllm and accelerate
|
пре 1 година |
|
Hamid Shojanazeri
|
74c17e03a3
update main readme
|
пре 1 година |
|
Hamid Shojanazeri
|
e3f88f5979
fixing spell conflicts
|
пре 1 година |
|
Hamid Shojanazeri
|
dd63f7559f
formated
|
пре 1 година |
