Базовые методы спарсификации и квантизации

Репозиторий содержит код и примеры консольных команд для выполнения квантизации LLM методоми GPTQ, Quik и спарсификации методами SparseGPT, Wanda.

Описание репозитория:

• notebooks содержит jupyter notebook со скриптами для выполнения квантизации и спарсификации.
• quik содержит код для квантизации LLM методом Quik
• sparsegpt содержит код для спарсификации LLM методом SparseGPT и квантизации методом GPTQ
• wanda содержит код для спарсификации LLM метод Wanda
• llama7b_weights содержит файлы с весами линейных слоев для 20-ого блока трансформера модели LLaMA2
• llama7b_act_scales содержит словарь с активациями для каждого слоя модели LLaMA2