Anthropic publica los “Prompts de Sistema” de Claude

Recientemente, Anthropic, una de las empresas líderes en el desarrollo de IA, y que es la responsable del desarrollo de Claude ha marcado un nuevo hito en la carrera de la IA que vivimos en los últimos tiempos. Este paso significativo no ha sido una mejora de las capacidades de sus modelos o de sus LLMs, pero es muy significativo pues acaba de publicar los “prompts” de sistema que guían el comportamiento de su, ya mencionado, modelo Claude. Esta decisión, que busca aumentar la transparencia en el funcionamiento del modelo, ha generado tanto aplausos como críticas en la comunidad IA. Pero sepamos primero :

¿Qué son los Prompts de Sistema?

Los “prompts de sistema” son instrucciones internas que determinan cómo debe comportarse un modelo de lenguaje (lógicamente también a Claude) en diferentes situaciones. Intentando reducirlo a una frase simple : son la base que define el «carácter» del modelo, indicándole cómo interactuar con los usuarios, cómo manejar temas que sean sensibles y cómo mantener la coherencia en sus respuestas. Es necesario saber que, hasta el movimiento de Antrhophic estos prompts no eran visibles para los usuarios, pero son la pieza clave para garantizar que la IA opere dentro de los límites éticos y técnicos que han sido preestablecidos por el equipo de desarrollo.

La decisión de publicar los prompts no convierte a Claude en Open Source

Anthropic ha destacado que la publicación de estos “prompts” es un movimiento hacia una mayor transparencia en el desarrollo IA. Estamos bastante acostumbrados, salvo en los modelo Open Source, a que los detalles sobre cómo funcionan las IAs, los LLMs o los transformers subyacentes están envueltos en el secreto. Esta apertura llevada a cabo con Claude va a permitir a investigadores, usuarios y otros desarrolladores entender mejor cómo se toman las decisiones dentro del modelo y cómo se gestionan situaciones complejas. Como decíamos, marca un hito en la apertura de un modelo, pero esto no la convierte en Open Source, puesto que Claude sigue liberándose bajo una licencia propietaria.

Lo que si podría suceder, es que este movimiento de transparencia contribuya a la creación de nuevos estándares en la industria, donde el comportamiento de los modelos de IA sea más predecible y comprensible para todos los actores involucrados en el proceso. También, y esto si podría parecer OpenSource (aunque no nos confundamos), esta apertura ofrece la oportunidad de que terceros auditen y evalúen si los “prompts de sistema” están alineados con los valores y objetivos que Anthropic promueve.

Pros y contras de la decisión

Como es normal, ya han surgido diferentes voces que señalan pros y contras en esta decisión sobre Claude que ha tomado Anthropic. Intentaremos resumirlas.

– Ventajas:

1. Aumento de la confianza: Al compartir estos prompts, Anthropic parece reforzar un compromiso con la ética y la responsabilidad en el desarrollo de IA, lo que podría mejorar la confianza del público en su tecnología.

2. Colaboración y aprendizaje: Otros desarrolladores pueden aprender de las prácticas de Anthropic, lo que podría ayudar a elevar el estándar general de la industria.

3. Evaluación externa: La comunidad IA, la académica y, por supuesto, de seguridad pueden revisar los prompts para detectar posibles mejoras o riesgos redundando en un ecosistema de Inteligencias Artificiales más seguro.

– Desventajas:

1. Riesgo de manipulación: Esta publicación de los “prompts de sistema” podría ser aprovechada y explotada por actores malintencionados que lo que busquen sea encontrar y explotar vulnerabilidades en el comportamiento de Claude y, por ende, de los modelos que imiten la publicación.

2. Pérdida de ventaja competitiva: Al revelar parte del «cerebro» detrás de Claude, Anthropic podría estar renunciando a un elemento clave que distingue a su IA de la competencia. Aunque, es de suponer, que habrá sido más que evaluado por la empresa.

3. Sobrecarga de información: La divulgación de estos detalles podría abrumar a usuarios y desarrolladores menos técnicos, quienes podrían no entender completamente las implicaciones de los estos “prompts” y hacer malas interpretaciones que les llevaran a reticencias o miedos al usar los modelos que tomases esta decisión.

A pesar de estos pros y contras, lo que no se puede negar es que la decisión de Anthropic de hacer públicos los “prompts” de sistema de Claude representa un hito importante en la evolución de la IA y, como derivada, en su nivel de trasnparencia.

Como ya hicimos en su día en el blog de OpenExpo Europe, analizando las propiedades y potencialidades de Claude en un artículo; seguiremos de cerca las consecuencias que puedan ir derivándose de esta valiente decisión que podría abrir camino hacia un futuro donde la transparencia y la seguridad sean elementos mucho más centrales en el desarrollo de las diferentes IAs y modelos