Chat IA

Protege contra la(s) siguiente(s) amenaza(s):

• Proveedores de Servicios
• Capitalismo de Vigilancia
• Censura

Desde el lanzamiento de ChatGPT en 2022, las interacciones con grandes modelos lingüísticos (LLM) son cada vez más frecuentes. Los LLM pueden ayudarnos a escribir mejor, a comprender temas desconocidos o a responder a una amplia gama de preguntas. Pueden predecir estadísticamente la siguiente palabra basándose en una gran cantidad de datos extraídos de Internet.

Preocupaciones por la Privacidad de los LLM

Sin embargo, los datos utilizados para entrenar modelos de IA incluyen una enorme cantidad de datos públicos extraídos de Internet, que pueden incluir información confidencial como nombres y direcciones. El software de IA basado en la nube a menudo recopila tus entradas, lo que significa que tus chats no son privados frente a ellos. Esta práctica también introduce un riesgo de violación de datos. Además, existe la posibilidad real de que un LLM filtre tu información privada del chat en futuras conversaciones con otros usuarios.

Si te preocupan estas prácticas, puedes negarte a usar la IA o usar modelos verdaderamente de código abierto que publican y te permiten inspeccionar sus conjuntos de datos de entrenamiento. Uno de estos modelos es OLMoE hecho por Ai2.

Alternativamente, puedes ejecutar modelos de IA localmente para que tus datos nunca salgan de tu dispositivo y, por lo tanto, nunca se compartan con terceros. Como tales, los modelos locales son una alternativa más privada y segura que las soluciones basadas en la nube y permiten compartir información sensible con el modelo de IA sin preocupaciones.

Modelos de IA

Hardware para Modelos Locales de IA

Los modelos locales también son bastante accesibles. Es posible ejecutar modelos más pequeños a velocidades inferiores con tan solo 8 GB de RAM. Utilizar un hardware más potente, como una GPU dedicada con suficiente VRAM o un sistema moderno con memoria LPDDR5X rápida, ofrece la mejor experiencia.

Los LLM suelen diferenciarse por el número de parámetros, que pueden variar entre 1,3B y 405B para los modelos de código abierto disponibles para los usuarios finales. Por ejemplo, los modelos con parámetros inferiores a 6,7B sólo son buenos para tareas básicas como resúmenes de texto, mientras que los modelos entre 7B y 13B son un gran compromiso entre calidad y velocidad. Los modelos con capacidades de razonamiento avanzadas suelen rondar los 70B.

Para el hardware de consumo personal, generalmente se recomienda utilizar [modelos cuantizados] (https://huggingface.co/docs/optimum/en/concept_guides/quantization) para obtener el mejor equilibrio entre la calidad del modelo y el rendimiento. Echa un vistazo a la tabla de abajo para obtener información más precisa sobre los requerimientos típicos de diferentes tamaños de modelos cuantificados.

Tamaño del Modelo (en Parámetros)	RAM Mínima	Procesador Mínimo
7B	8 GB	CPU Moderna (compatible con AVX2)
13B	16 GB	CPU Moderna (compatible con AVX2)
70B	72 GB	GPU con VRAM

Para ejecutar IA localmente, se necesita tanto un modelo de IA como un cliente de IA.

Elegir un Modelo

Hay muchos modelos con licencia permisiva disponibles para descargar. Hugging Face es una plataforma que te permite navegar, investigar y descargar modelos en formatos comunes como GGUF. Entre las empresas que ofrecen buenos modelos open-weights figuran grandes nombres como Mistral, Meta, Microsoft y Google. Sin embargo, también hay muchos modelos comunitarios y «fine-tunes» disponibles. Como ya se ha mencionado, los modelos cuantificados ofrecen el mejor equilibrio entre calidad de modelo y rendimiento para quienes utilizan hardware de consumo personal.

Para ayudarte a elegir un modelo que se adapte a tus necesidades, puedes consultar tablas de clasificación y puntos de referencia. La tabla de clasificación más utilizada es la de la comunidad LM Arena. Además, la OpenLLM Leaderboard se centra en el rendimiento de los modelos open-weights en puntos de referencia comunes como MMLU-Pro. También existen puntos de referencia especializados que miden factores como inteligencia emocional, «inteligencia general no censurada», y muchos otros.

Clientes de Chat IA

Característica	Kobold.cpp	Ollama	Llamafile
Soporte de GPU
Generación de Imágenes
Reconocimiento de Voz
Modelos de Autodescarga			Pocos modelos disponibles
Parámetros Personalizados
Multiplataforma			Limitaciones de tamaño en Windows

Kobold.cpp

Kobold.cpp es un cliente de IA que se ejecuta localmente en tu ordenador Windows, Mac o Linux. Es una opción excelente si lo que buscas es una gran personalización y ajuste, por ejemplo para juegos de rol.

Además de soportar una amplia gama de modelos de texto, Kobold.cpp también soporta generadores de imágenes como Stable Diffusion y herramientas de reconocimiento automático de voz como Whisper.

Página Principal

Downloads "Descargas"

• Windows
• macOS
• Linux

Problemas de Compatibilidad

Kobold.cpp podría no funcionar en ordenadores sin soporte AVX/AVX2.

Kobold.cpp te permite modificar parámetros como la temperatura del modelo de IA y el prompt de sistema del chat de IA. También permite crear un túnel de red para acceder a los modelos de IA desde otros dispositivos, como el teléfono.

Ollama (CLI)

Ollama es un asistente de IA de línea de comandos que está disponible en macOS, Linux y Windows. Ollama es una gran elección si buscas un cliente de IA fácil de usar, ampliamente compatible y rápido gracias a su uso de la inferencia y otras técnicas. Tampoco requiere ninguna configuración manual.

Además de soportar una amplia gama de modelos de texto, Ollama también soporta modelos LLaVA y tiene soporte experimental para las [capacidades vision de Llama] (https://huggingface.co/blog/llama32#what-is-llama-32-vision) de Meta.

Página Principal

Downloads "Descargas"

• Windows
• macOS
• Linux

Ollama simplifica el proceso de creación de un chat de IA local descargando automáticamente el modelo de IA que deseas utilizar. Por ejemplo, ejecutar ollama run llama3.2 descargará y ejecutará automáticamente el modelo Llama 3.2. Además, Ollama mantiene su propia biblioteca de modelos donde aloja los archivos de varios modelos de IA. De este modo se garantiza que los modelos se examinan tanto en lo que respecta al rendimiento como a la seguridad, eliminando la necesidad de verificar manualmente la autenticidad de los modelos.

Llamafile

Llamafile es un ejecutable ligero de un solo archivo que permite a los usuarios ejecutar LLM localmente en sus propios ordenadores sin necesidad de configuración. Está respaldado por Mozilla y disponible en Linux, macOS y Windows.

Llamafile también es compatible con LLaVA. Sin embargo, no admite el reconocimiento de voz ni la generación de imágenes.

Página Principal

Downloads "Descargas"

• Escritorio

Mozilla ha puesto a disposición llamafiles solo para algunos modelos de Llama y Mistral, mientras que hay pocos llamafiles de terceros disponibles. Además, Windows limita los archivos .exe a 4 GB, y la mayoría de los modelos superan ese tamaño.

Para evitar estos problemas, puedes cargar weights externos.

Descarga Segura de Modelos

Si utilizas un cliente de IA que mantiene su propia biblioteca de archivos modelo (como Ollama y Llamafile), deberías descargarlo desde allí. Sin embargo, si quieres descargar modelos que no están presentes en su biblioteca, o utilizar un cliente de IA que no mantiene su biblioteca (como Kobold.cpp), tendrás que tomar medidas adicionales para asegurarte de que el modelo de IA que descargas es seguro y legítimo.

Recomendamos descargar archivos modelo de Hugging Face, ya que ofrece varias funciones para comprobar que su descarga es auténtica y segura.

Para comprobar la autenticidad y seguridad del modelo, busca:

• Tarjetas modelo con documentación clara
• Un distintivo de organización verificada
• Comentarios de la comunidad y estadísticas de uso
• Un distintivo "Seguro" junto a la ficha del modelo (solo Hugging Face)
• Checksums coincidentes¹
• En Hugging Face, puedes encontrar el hash haciendo clic en un archivo de modelo y buscando el botón Copy SHA256 debajo de él. Debes comparar esta checksum con la del fichero modelo que has descargado.

Por lo general, un modelo descargado es seguro si satisface todas las comprobaciones anteriores.

Criterios

Por favor, ten en cuenta que no estamos afiliados a ninguno de los proyectos que recomendamos. Además de nuestros criterios estándar, hemos desarrollado un conjunto claro de requisitos que nos permiten ofrecer recomendaciones objetivas. Sugerimos que te familiarices con esta lista antes de decidir utilizar un proyecto y realices tu propia investigación para asegurarte de que es la elección ideal para ti.

Requisitos Mínimos

• Debe ser de código abierto.
• No debe transmitir datos personales, incluidos los del chat.
• Debe ser multiplataforma.
• No debe requerir GPU.
• Debe ser compatible con la inferencia rápida en la GPU.
• No debe requerir conexión a Internet.

Mejor Caso

Nuestros criterios para el mejor de los casos representan lo que nos gustaría ver en el proyecto perfecto de esta categoría. Es posible que nuestras recomendaciones no incluyan todas o algunas de estas funciones, pero las que sí las incluyan pueden estar mejor clasificadas que otras en esta página.

• Debería ser fácil de descargar y configurar, por ejemplo, con un proceso de instalación de un solo clic.
• Debería tener una opción de descarga de modelos integrada.
• El usuario debería poder modificar los parámetros de la LLM, como su prompt de sistema o su temperatura.

---

1. La checksum de un archivo es un tipo de huella digital antimanipulación. Un desarrollador suele proporcionar una checksum en un archivo de texto que puede descargarse por separado, o en la propia página de descarga. Verificar que la checksum del archivo descargado coincide con la proporcionada por el desarrollador ayuda a garantizar que el archivo es auténtico y no ha sido manipulado durante el transporte. Puedes utilizar comandos como sha256sum en Linux y macOS, o certutil -hashfile file SHA256 en Windows para generar la checksum del archivo descargado. ↩

Estás visitando la copia en Español de Privacy Guides, traducida por nuestro fantástico equipo traductor en Crowdin. ¡Si encuentras un error o ves algunas secciones sin traducir en esta página, por favor considera ayudar! Visita Crowdin

You're viewing the Spanish copy of Privacy Guides, translated by our fantastic language team on Crowdin. If you notice an error, or see any untranslated sections on this page, please consider helping out!