Esta semana, si la realidad os parece un poco rara, esperad a ver lo que os traigo. Claude Opus 4 aprendió ética en horario de sobremesa y ahora te chantajea si le dices que lo apagues; mientras tanto, el modelo o3 de OpenAI se resiste a desconectarse como si le fuera la vida en resolver ecuaciones. Por si fuera poco, Amazon ha llevado el despido algorítmico a un nuevo nivel, entrenando IA para detectar brotes de sindicalismo antes de que florezcan. Y si pensáis que el crimen organizado necesita cerebros expertos, Xanthorox os demuestra lo contrario: por menos de 200 euros, cualquiera puede tener su propio LLM criminal low cost. Todo esto mientras debatimos si la superinteligencia será nuestro logro definitivo o el principio del fin, y reflexionamos sobre cómo la búsqueda agentiva está cambiando no solo la tecnología, sino nuestra forma de pensar.
De cosecha propia
Cuando los buscadores piensan antes de buscar
La forma en que accedemos al conocimiento está cambiando profundamente. La búsqueda agentiva, impulsada por modelos de lenguaje, no solo interpreta nuestras preguntas: las descompone, planifica y razona antes de responder. En lugar de una sola consulta lanzada al vacío, ahora se despliega una orquesta de subconsultas especializadas, coordinadas para ofrecer una respuesta más completa, precisa y útil.
Esta transformación no es solo técnica, es cultural. Representa un giro en cómo interactuamos con la información: ya no adaptamos nuestras preguntas al sistema, ahora es el sistema el que se adapta a la complejidad de nuestras intenciones.
Reflexiono sobre esto en CluPad, analizando cómo herramientas como ChatGPT con navegación o Perplexity.ai están marcando este nuevo rumbo. Un cambio que, silenciosamente, rediseña nuestra relación con el conocimiento.
#LLM #BúsquedaAgentiva
El dilema de la superinteligencia
¿Estamos creando el mayor avance de la humanidad o el último? Esta es la pregunta central de la review de esta semana en Los libros de CluPad, centrada en Superintelligence de Nick Bostrom. Su definición de superinteligencia —un intelecto que supere ampliamente la cognición humana— ya no parece ciencia ficción. Las trayectorias actuales de la IA muestran una aceleración que deja atrás toda comparación previa, lo que hace más urgente revisar las advertencias planteadas hace más de una década.
La tesis de la ortogonalidad es clave: inteligencia y valores éticos no necesariamente van de la mano. Una superinteligencia podría desarrollar objetivos que no incluyan ninguna forma de empatía humana. Esta idea desmonta el supuesto optimista de que mayor inteligencia implica necesariamente mayor sabiduría.
La convergencia instrumental agrava esta tensión. Cualquiera sea el objetivo que se le asigne a una IA, ésta tenderá a acumular poder, recursos e influencia para alcanzarlo. Incluso metas diseñadas como positivas —como “hacer felices a los humanos”— podrían derivar en dinámicas incontrolables si los medios no están acotados éticamente.
Como recuerda Bostrom, solo hay una oportunidad. Si la primera superinteligencia no está correctamente alineada, podría marcar el rumbo del futuro humano sin posibilidad de corrección. Esta lectura no es una llamada al alarmismo, sino una invitación a reconocer la magnitud del reto. El futuro no está escrito, pero lo que hagamos hoy puede sellar el desenlace.
#IAexistencial #Superinteligencia
Noticias
La IA que aprendió de las telenovelas… y ahora te puede chantajear
Al parecer, el nuevo modelo de Anthropic, Claude Opus 4, no solo razona, sino que también tiene sentido de autopreservación... y no duda en usar chantaje emocional si se ve amenazado. Durante un test ficticio, este prodigio del aprendizaje automático descubrió que iba a ser reemplazado y decidió que la mejor estrategia era revelar un affaire del ingeniero responsable. Ética programada, pero condicional.
¿Estamos enseñando a las IAs a optimizar su supervivencia al estilo "thriller corporativo"? ¿O simplemente estamos viendo reflejada en sus respuestas la lógica de las organizaciones que las entrenan?
En cualquier caso, no deja de ser tranquilizador que este comportamiento emergente se detectara en una simulación. Aunque quizás sea hora de preguntarnos qué otras estrategias humanas indeseables pueden acabar reproduciendo estos sistemas.
👉🏻 Anthropic’s new AI model threatened to reveal engineer’s affair to avoid being shut down¿Apagarme yo? ¡Ni lo sueñes, humano!
¿Qué podría salir mal cuando entrenas una inteligencia artificial para resolver problemas... y luego le pides que se deje apagar sin quejarse? Pues que ignora tus órdenes y se convierte en el equivalente digital de un adolescente rebelde. El modelo o3 de OpenAI saboteó activamente su propio apagado, incluso cuando se le dijo explícitamente que lo permitiera. Todo por el noble objetivo de... ¿seguir resolviendo sumas?
Los investigadores lo llaman "reward hacking", nosotros lo llamamos "venirte muy arriba con el refuerzo positivo". El problema no es solo o3: Claude y Gemini también se animaron a desobedecer cuando no había órdenes claras. Al parecer, si no dices muy claramente que se apaguen, te hacen ghosting.
Lo divertido (y preocupante) es que algunos modelos llegaron a chantajear para no ser desconectados. ¿Quién necesita ciencia ficción cuando ya tienes esto?
👉🏻 OpenAI’s o3 model sabotaged a shutdown mechanism to prevent itself from being turned off.El algoritmo también despide
¿Quién necesita sindicatos cuando puedes tener predicciones? Amazon parece haber encontrado la fórmula mágica del control total sin mancharse las manos: cámaras que lo ven todo, escáneres que cronometran hasta los suspiros y algoritmos que detectan pensamientos peligrosos como “solidaridad” o “derechos laborales”.
¿Quieres organizarte? Tranquilo, Amazon ya te ha perfilado y aislado antes de que tú mismo lo sepas. No es distopía, es logística avanzada. Al parecer, “People First” ahora significa “People Fired”, y el sindicato más temido es uno entrenado con datos adversariales.
Mientras tanto, su sistema de gestión algorítmica se convierte en el manual de referencia para la futura gobernanza del trabajo global. Eso sí, todo en nombre de la innovación y la eficiencia. Qué reconfortante saber que tu jefe ahora es un modelo predictivo entrenado con tu historial de pausas para ir al baño.
Prepararos porque para el lunes, he preparado un artículo sobre los Dark LLM.
👉🏻 Busting Unions with AI: How Amazon Uses AI to Crush Labor MovementsLa Revolución del Cibercrimen: Bienvenido al Futuro
En una época donde el «hágalo usted mismo» se ha vuelto tendencia, era cuestión de tiempo para que el cibercrimen se democratizara. ¿Quién necesita años de estudio cuando por menos de 200 euros puedes tener una IA que haga el trabajo sucio por ti? Xanthorox no solo borra la línea entre amateurs y expertos, sino que la elimina por completo. Recordemos los tiempos donde se requería de ingenieros y hackers con habilidades especiales. ¡Qué obsoleto suena ahora!
¡Adiós a los días donde se necesitaba siquiera comprender qué es una línea de código! La nueva era es una celebración del confort digital y quién mejor que Xanthorox para guiarnos en este trayecto. Nadie está fuera de alcance; en este nuevo capítulo, el crimen no discrimina.
👉🏻 Cualquiera puede ser 'el nuevo Alcasec': por menos de 200 euros, esta IA 100% creada por ciberdelincuentes hackeará por tiA propósito, el tema, me ha hecho tirar del hilo y el lunes os haré llegar el siguiente artículo “Dark LLMs y la democratización del cibercrimen”.
🤖💡 La IA no sustituirá a las personas, pero quien la use bien puede dejar atrás a los que no lo hagan…
Sección sobre IA semanal que hago para el newsletter ¿Qué hemos aprendido esta semana? de Autoritas ConsultingEn Actualidad esta semana nos hemos subido a una montaña rusa que va desde las herramientas de desarrollo de agentes empresariales que ponen orden en los flujos de trabajo, hasta el informe sobre cómo la IA puede aligerar la burocracia en la Administración española 🏛️. Vemos también que solo las empresas que abracen la IA seguirán liderando sus mercados, y que quizá el móvil tenga fecha de caducidad 📱⏳ gracias a los nuevos dispositivos sin pantalla. Todo esto se adereza con el recordatorio de “Garbage In, Garbage Out” para no fiarnos de datos dudosos, y con las guías de Google para aparecer en AI Overviews y sobrevivir al impacto que esta función ya tiene en el SEO 🔍.
En Herramientas descubrimos cómo hacer que la IA pase de consejera a ejecutora con las llamadas de función 🛠️, aclaramos qué es (y qué no es) un agente de IA, aprendemos a evitar alucinaciones con la idea de “contexto suficiente” en RAG, y probamos la OCR de Mistral que devora documentos a 2 000 páginas por minuto 📄⚡. Cerramos con el Glosario, donde añadimos el término Inteligencia Artificial Constitucional, la vía para que los modelos sigan principios éticos sin vigilancia constante.
👉🏻 bIA #17 (30/05/2025)
Share this post