🔥Gemma 2B with recurrent local attention with context length of up to 10MОгненная модель Gemma 2B с длиной контекста 10M, которая анализирует до 7 млн слов.В нее можно закидывать огромные документы и модель всё проанализирует.Производительность выше Gemini в 10 раз, а памяти нужно всего 32 ГБ.▪Github: https://github.com/mustafaaljadery/gemma-2B-10M▪HF: https://huggingface.co/mustafaaljadery/gemma-2B-10M▪Technical Overview: https://medium.com/@akshgarg_36829/gemma-10m-technical-overview-900adc4fbeeb#llm #gemma@ai_machinelearning_big_data
