Репозиторий содержит код и примеры консольных команд для выполнения квантизации LLM методоми GPTQ, Quik и спарсификации методами SparseGPT, Wanda.
Описание репозитория:
notebooksсодержит jupyter notebook со скриптами для выполнения квантизации и спарсификации.quikсодержит код для квантизации LLM методом Quiksparsegptсодержит код для спарсификации LLM методом SparseGPT и квантизации методом GPTQwandaсодержит код для спарсификации LLM метод Wandallama7b_weightsсодержит файлы с весами линейных слоев для 20-ого блока трансформера модели LLaMA2llama7b_act_scalesсодержит словарь с активациями для каждого слоя модели LLaMA2