Hola Daniel, mucha expectativa con la IA en local pero cuando la instale no corrio a la velocidad acostumbrada. Probe con LMSTUDIO y con OLLAMA, pero se requiere un pc muy potente para poder correr en local de forma optima.
Es como la casa bonita que no tienes presupuesto para comprar aunque quisieras. Justo es lo que comento y te entiendo perfectamente.
Creo que habrá una evolución muy fuerte en el hardware para poder lanzar modelos de forma efectiva y rápida en los próximos meses y años. Pero hasta entonces, con la maquinaría que tenemos, haremos lo que podamos.
ChatGPT, de momento, tiene mucha ventaja. Gracias por tu comentario ;)
Yo uso ollama + chatbox.
Mi Mac M1 puede bien con Llama 3.1 70B y DeepSeek 32B.
Pero si quieres más fuertes, necesitas acceso a servidores.
Wow! ¿Cuánta RAM tienes? Porque con la mía no puedo mover un 70B. Gracias por compartirlo ;)
Creo que 32
Hola Daniel, mucha expectativa con la IA en local pero cuando la instale no corrio a la velocidad acostumbrada. Probe con LMSTUDIO y con OLLAMA, pero se requiere un pc muy potente para poder correr en local de forma optima.
Es como la casa bonita que no tienes presupuesto para comprar aunque quisieras. Justo es lo que comento y te entiendo perfectamente.
Creo que habrá una evolución muy fuerte en el hardware para poder lanzar modelos de forma efectiva y rápida en los próximos meses y años. Pero hasta entonces, con la maquinaría que tenemos, haremos lo que podamos.
ChatGPT, de momento, tiene mucha ventaja. Gracias por tu comentario ;)