A medida que ha crecido la popularidad de las herramientas de escritura basadas en IA, los detectores de IA también han mejorado su rendimiento. Pero esta es la cruda realidad:
Los analizadores de IA han llegado a un punto en el que puedes pegar el mismo texto en diferentes herramientas y obtener una puntuación de IA completamente diferente.
Esto ha dado lugar a una nueva pregunta:
¿Realmente mejora la humanización del texto generado por IA las puntuaciones de detección de la IA? Y si es así, ¿qué ocurre con la calidad del contenido?
Para encontrar la respuesta, vamos a analizar el mismo texto generado por IA antes y después de su humanización. No solo evaluaremos la puntuación de la IA, sino que también comprobaremos si el contenido revisado sigue siendo preciso y conserva el significado original.
Así que, teniendo todo esto en cuenta, ¡empecemos!
¿Qué se entiende por puntuaciones de detección de IA?
La puntuación de detección de IA es una estimación probabilística de la probabilidad de que un texto haya sido generado por una herramienta de inteligencia artificial en lugar de haber sido escrito por un humano. Mide la predictibilidad de patrones y no proporciona una prueba absoluta de autoría bot.
En lugar de analizar la precisión de los hechos, los detectores de IA calculan esta puntuación evaluando dos métricas lingüísticas principales:
- La perplejidad, que mide la imprevisibilidad de las palabras utilizadas.
- La ráfaga de palabras, que mide la variación en la longitud y la estructura de las oraciones.
Dado que esta puntuación representa una probabilidad, una puntuación del 90 % de IA no significa que exactamente el 90 % de tu contenido haya sido generado por IA. Significa que los detectores de IA tienen un 90 % de confianza en que tu texto coincide con los patrones predecibles generados por máquina.
Nuestra metodología de pruebas
Antes de pasar a la prueba, veamos primero la metodología que aplicaremos.
Ahora, para mantener la imparcialidad de todo el mecanismo de prueba, utilizaremos el mismo proceso para cada detector. Por ejemplo,
- Tomaremos un texto generado por IA sin hacerle ningún cambio.
- Lo analizaremos utilizando herramientas de detección de IA populares, como Detecting-AI.com y ZeroGPT.
- Luego utilizaremos humanizadortexto.com para generar una versión humanizada del contenido generado por IA y reducir su puntuación de IA.
- Posteriormente, comprobaremos repetidamente la versión humanizada con los mismos verificadores de IA.
- También analizaremos si el texto humanizado es claro, legible y si conserva la misma intención.
Ahora bien, como pueden ver, este mecanismo de prueba se centra en las siguientes tres preguntas:
- ¿Disminuyó la puntuación de detección de la IA?
- ¿El contenido humanizado se mantuvo preciso, claro y legible?
- ¿Los resultados fueron consistentes en las pruebas repetidas?
Así es como reduciremos las variables que podrían influir en los resultados finales de todo este experimento.
Análisis detector por detector
Ahora, pasemos al mecanismo de prueba. Aquí está el ejemplo de texto que hemos generado con ChatGPT:
Y aquí están sus puntuaciones de IA según las herramientas que hemos seleccionado:
Informe de Detecting-AI.com sobre texto generado por IA
Resultado de ZeroGPT en texto generado por IA
Como se ha demostrado, todo el texto ha sido generado por IA. Así pues, usemos un humanizador de IA para humanizar el texto. Y al hacerlo, obtuvimos el siguiente resultado:
Ahora, utilizaremos esta versión humanizada para comprobar de nuevo la puntuación de la IA con los detectores de IA seleccionados:
Informe de Detecting-AI.com sobre texto humanizado
Aquí está el resultado de Detecting-AI.com para la muestra de texto humanizada a través de la herramienta :
Entonces,
¿Disminuyó la puntuación de la IA?
Sí.
¿Por cuánto?
Pues bien, casi el 30% de los patrones de la IA se han reducido tras la humanización.
¿El resultado fue consistente en las distintas pruebas?
Bueno, casi consistente, pero no del todo. Esto se debe a que cuando humanizamos el texto con un modo diferente y lo volvimos a ejecutar con Detector-AI.com, el resultado fluctuó entre un 1 y un 2 %.
Por lo tanto, podemos decir que el resultado es mayormente consistente en este caso.
Resultado de ZeroGPT para contenido humanizado
Aquí está el informe de ZeroGPT para la muestra de texto humanizada a través de la herramienta :
Entonces,
¿Disminuyó la puntuación de la IA?
Sí.
¿Por cuánto?
Bueno, en este caso los patrones de IA se han reducido por completo. Así que hay una gran mejora.
¿El resultado fue consistente en las distintas pruebas?
Sí. De hecho, la puntuación se ha mantenido constante al humanizarla con diferentes modos y al probarla repetidamente con ZeroGPT.
Tabla comparativa
Ahora, para que tengan una idea general de cómo han ido nuestras pruebas, echen un vistazo a la siguiente tabla:
|
Detector de IA |
¿Mejoró tu puntuación? |
Consistencia en todas las pruebas |
Observación general |
|
Detecting-AI.com |
Sí (reducido en casi un 30%) |
Mayormente consistente |
Mejores puntuaciones, aunque las señales de IA persistieron. |
|
ZeroGPT |
Sí (reducido completamente) |
Totalmente consistente |
Una de las mayores mejoras entre los detectores probados. |
¿El contenido humanizado sigue siendo veraz?
Bueno, eso depende de si el texto generado por la IA es veraz o no. Y dado que el texto generado por la IA que hemos utilizado en esta prueba es completamente veraz, su versión humanizada también lo fue.
Pero la precisión fáctica de la humanización del texto también depende del tipo de:
-
Herramienta que utilizas para humanizar el texto
O
-
Técnicas de humanización que realmente estás aplicando
Por ejemplo, la mayoría de los humanizadores intentan eludir las puntuaciones de la IA. Al hacerlo, modifican palabras y frases de forma que el contenido resulta forzado. En consecuencia, la veracidad del contenido humanizado puede verse comprometida.
¿Conserva el significado?
Pues sí. En nuestro caso, el texto humanizado ha conservado el significado.
Incluso al procesar el mismo texto con diferentes modos, el resultado mantuvo el mismo sentido que la versión original. Sin embargo, cabe destacar que la conservación del significado original depende en gran medida del programa de humanización de texto que se utilice o de las técnicas aplicadas para humanizar el contenido.
¿Cuánta edición manual sigue siendo necesaria?
Bueno, eso también varía según el caso de uso. Pero no puedes enviar el texto humanizado tal cual; tendrás que hacer algunas ediciones manuales, especialmente si quieres cumplir con los requisitos EEAT de Google.
Por ejemplo, en nuestro caso, primero intentamos identificar si había frases incómodas que sonaran poco naturales en la versión humanizada. Y como no las había, intentamos identificar oportunidades para:
- Mejoras en la claridad
- Problemas de inconsistencias de formato
Además, hemos añadido ejemplos que faltaban, pruebas que los respaldan y verificaciones de las afirmaciones fácticas para asegurarnos de que el contenido generado por IA y modificado por humanos sea aceptable para Google.
Esto significa que la humanización del texto funciona mejor como paso intermedio. Por ejemplo, no puede sustituir a los editores humanos, pero puede ayudar a reducir los patrones repetitivos de la IA, lo cual será útil en la fase previa a la corrección.
Legibilidad antes y después
Aunque el texto que habíamos generado ya era legible, al humanizarlo, se volvió más fácil de leer que el borrador original. Esto se debe principalmente a que los siguientes elementos crearon una experiencia de lectura más natural:
- Longitud de las oraciones variada
- Transiciones más suaves
Pero no deberías centrarte únicamente en reducir las puntuaciones de detección de la IA. Esto se debe a que las empresas que crean estas herramientas también afirman que los detectores de IA suelen cometer errores y generar falsos positivos. Por lo tanto, deberías concentrarte en mejorar la legibilidad, ya que esto beneficiará a los usuarios reales al hacer que tu información sea más fácil de entender y más atractiva de principio a fin.
Limitaciones de nuestro experimento
Como habrás visto a lo largo de esta entrada del blog, los resultados de nuestras pruebas han mostrado mejoras claras en cuanto a la reducción de las puntuaciones de IA y la mejora de la legibilidad. Sin embargo, nuestro experimento también tiene varias limitaciones que debes tener en cuenta:
- Los detectores de IA se actualizan periódicamente, por lo que las puntuaciones pueden variar con el tiempo. Por lo tanto, asegúrese de comprender completamente el funcionamiento de la detección mediante IA antes de hacer cualquier afirmación.
- Las diferentes consignas de escritura pueden producir diferentes resultados de detección.
- La calidad de la humanización varía según la herramienta y el método de edición utilizados.
- Ningún detector utiliza exactamente los mismos criterios de evaluación, lo que dificulta las comparaciones directas.
- El experimento se realizó utilizando una sola muestra de contenido. Probar con varios tipos de contenido podría producir resultados diferentes.
Conclusión
En resumen, nuestras pruebas han demostrado que humanizar el contenido generado por IA generalmente redujo las puntuaciones de detección en todas las plataformas analizadas. Sin embargo, el grado de mejora varió entre los distintos detectores.
Más importante aún, el experimento puso de manifiesto que una humanización exitosa va más allá de reducir las puntuaciones de detección de la IA. El contenido de alta calidad debe mantener la veracidad de los hechos, conservar su significado original y ofrecer una experiencia de lectura fluida.
De este modo, cuando se combina con una edición manual minuciosa y una verificación de datos, el contenido humanizado puede lograr un mejor equilibrio entre la calidad de la escritura natural y un sólido rendimiento general.