Ahora es posible automatizar una parte importante del flujo de trabajo de investigación mediante herramientas de IA de código abierto, manteniendo los datos, archivos y registros de transacciones en los propios dispositivos o servidores del usuario. Este enfoque brinda a investigadores, desarrolladores y profesionales un mayor control sobre el procesamiento de la información, en lugar de depender exclusivamente de servicios en la nube cerrados.
La automatización de búsquedas mediante IA se basa en la vinculación de modelos de IA de código abierto con herramientas para recopilar, organizar, analizar y resumir información. Estos sistemas pueden realizar tareas repetitivas como buscar documentos, extraer datos, clasificar fuentes y generar resúmenes, con flujos de trabajo que se pueden personalizar para satisfacer las necesidades del usuario.
La principal ventaja reside en el control de los datos. Al ejecutar las herramientas localmente o en un servidor propio del usuario, se reduce la necesidad de enviar información confidencial a plataformas externas. Sin embargo, el nivel de privacidad depende de la configuración del sistema, la ubicación de ejecución del modelo y los permisos otorgados a las herramientas conectadas.
Los servicios de IA en línea son una excelente manera de buscar y analizar documentos extensos, pero tienen algunas desventajas. Tus datos se almacenan con un tercero, consumen tokens o requieren una suscripción para acceder, y necesitan conexión a internet para funcionar. Al usar servicios locales, puedo asegurarme de que ningún documento confidencial se filtre accidentalmente y no tengo que preocuparme de que mis datos personales se utilicen para entrenar modelos en la nube.
Flujo de trabajo de investigación local
Recopilación, resumen, inclusión y recuperación de datos, todo ello de forma local.
Cuando me propuse crear un asistente de investigación local impulsado por IA, el objetivo era recopilar una gran cantidad de información y luego usar la IA para analizarla y clasificarla, en lugar de depender de lo que la IA "sabe".
Una vez recopilado un recurso específico, como un archivo PDF, un modelo local genera un resumen estructurado, extrayendo automáticamente los puntos clave, las fuentes y las preguntas relevantes. A continuación, los documentos se fusionan (un proceso que consiste en dividirlos y convertirlos en vectores) para que la IA pueda realizar búsquedas fácilmente en función del propósito o el significado implícito, en lugar de realizar búsquedas literales por palabras clave.
Una vez que todo esté en funcionamiento, el sistema completo funcionará de forma similar a mi NotebookLM personal.
Configuración del programa: Ollama para inferencia, modelo de incrustación pequeño y RAG.
Esta configuración consta de tres partes principales: la capa de inferencia, el modelo de incrustación y un modelo de lenguaje primario (LLM) que admite la generación de datos mejorada para la recuperación (RAG).
Utilicé Ollama para la capa de inferencia porque simplifica enormemente el proceso de configuración de un archivo llama.cpp. Permite importar y ejecutar una amplia gama de modelos de IA con solo uno o dos comandos, y es compatible con la mayoría de los modelos que quiero usar.
Para gestionar el proceso de incrustación, estoy experimentando con EmbeddingGemma. Su principal limitación es que no puede manejar imágenes. Si necesitas trabajar con imágenes o simplemente quieres probar otra alternativa, Qwen3-VL-Embedding es una opción adecuada. Ambas tienen versiones lo suficientemente pequeñas como para ejecutarse en cualquier GPU moderna. Actualmente, activo/desactivo el incrustador manualmente, pero planeo configurar más adelante un proceso de monitorización que se ejecute automáticamente cada vez que se añada un nuevo archivo.
Puedes elegir la interfaz de usuario que mejor se adapte a ti; AnythingLLM y Open WebUI son dos opciones fáciles y populares porque gestionan la mayoría de los procesos complejos en segundo plano. Actualmente uso AnythingLLM.
Una base de datos local es segura y económica.
Deja de malgastar fichas en RAG.
Si estás pagando por un servicio de IA basado en la nube, ya sea mediante una suscripción fija o un sistema de pago por uso, no tiene sentido gastar dinero en un servicio que puedes obtener gratis a nivel local.
Una vez que todo esté en funcionamiento, el único coste recurrente será el de la electricidad. Por supuesto, también estarás limitado por las especificaciones de tu hardware. Si tienes un procesador gráfico de gama media, la IA local será muy rápida. Si solo usas una CPU, espera que sea mucho más lenta.
Tampoco me limito a un ordenador de sobremesa. He configurado Ollama para que esté disponible en cualquier dispositivo de mi red, lo que significa que puedo conectar fácilmente mi portátil o mi teléfono. Los resultados se envían y reciben desde mi PC de juegos, que ejecuta el procesador gráfico 5070 Ti.
La cuestión de la privacidad es menos importante.
La inteligencia artificial es fascinante en muchos sentidos, pero no se pueden tratar los modelos en la nube como completamente privados. Existen algunos problemas importantes.
En primer lugar, existe un problema fundamental: cuando subes un archivo a un servicio de IA, este se almacena indefinidamente en un servidor web. Si algo falla y la empresa de IA se ve comprometida, tu archivo también podría estar en riesgo.
En segundo lugar, está el tema del entrenamiento. La mayoría de las grandes empresas de IA permiten desactivar el entrenamiento de nuevas IA en tus conversaciones, pero es fácil dejar esta opción activada por accidente. Si estás trabajando con un archivo que requiere privacidad por ley, esta posibilidad es inaceptable.
En tercer lugar, está el problema de la divulgación no intencionada. Tanto ChatGPT como Cloude funcionan de forma que permiten a los motores de búsqueda indexar las conversaciones, lo que significa que, en teoría, es posible que alguien acceda a tu conversación compartida a través de Google o DuckDuckGo.
Sin embargo, la calidad y la velocidad de la inferencia bruta son ligeramente inferiores.
La principal deficiencia en el rendimiento radica en el razonamiento. Los modelos líderes, que suelen estar basados en la nube, tienen una mayor capacidad de razonamiento y análisis que los modelos locales pequeños al plantear una pregunta analítica compleja.
No se puede proporcionar a un sistema de IA local una gran cantidad de documentación y esperar que extraiga nuevas conclusiones científicas; los obstáculos son demasiados.
Este sistema impulsa la investigación en todos mis proyectos de IA.
Mi archivo aún está en sus primeras etapas, pero ya lo he integrado con mi asistente de voz inteligente. Esto significa que puedo acceder a todo lo que descargo y agrego simplemente diciéndole.
Todo el sistema parece increíblemente sofisticado. Puedo sentarme, preguntarle a mi bot de Discord o a mi asistente virtual sobre un tema de investigación específico que he enviado, y lo discutirán conmigo en tiempo real. Luego, pueden responder automáticamente a las preguntas relacionadas con el contenido.
La IA de código abierto puede transformar los flujos de trabajo de investigación, pasando de una serie de tareas manuales repetitivas a un proceso más automatizado y personalizable. Fundamentalmente, ejecutar las herramientas localmente o en un servidor privado brinda a los usuarios un mayor control sobre sus datos en comparación con depender completamente de servicios externos.
Si maneja información confidencial o realiza tareas de búsqueda repetitivas, comience automatizando solo un paso y, a continuación, amplíe gradualmente el flujo de trabajo mientras revisa los permisos y la configuración de privacidad antes de confiar plenamente en él.
