No todo es Internet, ya no hay que estar conectado si o si para tener las herramientas que ofrece la IA y para sostener la privacidad de tu PC. ChatRTX requiere una tarjeta gráfica RTX, y un PC con 16 GB de RAM y Windows 11. Y es gratis.
La mayoria de la IA generativa que usamos, se ejecuta en los servidores remotos de Microsoft, Google y compañía. Poco recomendable para nuestra privacidad, además de que añade latencia. ChatRTX es el único chatbot que funciona al 100% en modo local, gracias la potencia de los chips de IA de NVIDIA, que incluye en sus tarjetas gráficas.
Para ejecutar tareas de inteligencia artificial en modo local, es necesario que nuestro hardware tenga algún chip especializado en IA. Ya lo poseen algunos móviles, y pronto estarán en todas las CPU de los PC.
Actualmente, los chips de IA más potentes que existen están en las tarjetas gráficas RTX de NVIDIA. Es la hora de sacarles provecho.
El chatbot ChatRTX de NVIDIA se actualiza
ChatRTX es un chatbot que funciona en modo local, es decir, no necesitas conectarte a la nube para que la IA generativa te responda.
No usa su propia IA,, sino que acepta numerosos Modelos de Lenguaje Grandes (LLM) de Google, Meta, OpenAI y otras. En su primera versión permitía elegir entre las IA generativas Llama y Mistral, pero hoy ha añadido Gemma y ChatGLM3, un modelo de lenguaje abierto.
Gemma es la nueva IA generativa de Google basada en Gemini, diseñada para funcionar en modo local. Google la usa en sus móviles Pixel, pero esta es una versión mucho más potente.
ChatRTX puede trabajar con tus datos privados, ya que no extrae nada de tu ordenador. Simplemente, la «entrenas» con tus propios documentos en formato TXT, PDF, DOC/DOCX y XML. También funciona con enlaces a vídeo de YouTube.
Una vez que le proporcionas el material, puede responder preguntas sobre esos documentos o vídeos, hacer resúmenes, extraer conclusiones, etc. Puedes verlo en el vídeo anterior.
La nueva actualización no solo añade Gemma. También Whisper, la IA de OpenAI que traduce voz a texto. Gracias a ella, puedes darle órdenes de voz a ChatRTX (en inglés), aunque te responderá con texto.
También ha añadido la red neural CLIP. Si la entrenas con las fotos de tu PC, podrá localizar cualquier imagen, simplemente describiéndole lo que hay en la foto,
