Fuentes .4gl en Latin-1: acentos rotos (U+FFFD)
El problema
Latin-1 en Genero es lo normal en un proyecto con años de historia: los fuentes suelen estar en Latin-1 (ISO-8859-1 o ISO-8859-15), no en UTF-8. No hay problema hasta que alguien edita un fichero con una herramienta que da por hecho que el texto es UTF-8: un editor mal configurado o un script que modifica el código. Al guardar, cada ñ, á u ó se convierte en �, y el resto del fichero se queda igual.
Lo peor es que no avisa. El fichero se guarda, compila, el cambio se sube al repositorio y el daño se descubre semanas después, cuando alguien ve un texto con caracteres extraños donde había acentos.
La causa
En Latin-1, cada carácter acentuado ocupa un byte: la ñ es 0xF1 y la ó es 0xF3. En UTF-8, esos bytes sueltos no son válidos. Una herramienta que lee el fichero como UTF-8 no sabe qué hacer con ellos y los sustituye por el carácter de reemplazo, U+FFFD, que en UTF-8 son tres bytes: EF BF BD. Al guardar, escribe esos tres bytes.
El cambio es irreversible: la ñ y la ó acaban siendo los mismos tres bytes, así que ya no se puede saber qué letra había. Con un fichero de tres líneas se ve así:
antes: A 361 o d e f a c t u r a c i 363 n (ISO-8859 text)
después: A 357 277 275 o d e ... c i 357 277 275 n (UTF-8 text)(Los bytes están en octal, como los muestra od -c: 361 es 0xF1 y 357 277 275 es EF BF BD).
Además, el fichero ha cambiado de codificación sin que nadie lo decida. El manual de Genero (Understanding locale settings) es claro: los fuentes están en un juego de caracteres concreto, y al compilar, LANG/LC_ALL/LC_CTYPE tienen que coincidir con él. Un fichero que pasa a UTF-8 en un proyecto que compila en Latin-1 rompe esa regla.
Cómo detectarlo
El rastro siempre es el mismo: la secuencia EF BF BD. Para buscarla en todos los fuentes:
LC_ALL=C grep -rl $'\xef\xbf\xbd' --include='*.4gl' --include='*.per' .Si no aparece ningún fichero, no hay daños de este tipo en los .4gl ni en los .per. Si aparece alguno, ese fichero ha perdido caracteres. El comando file también lo muestra: un fuente que debería decir ISO-8859 text y dice UTF-8 text ha sido modificado por una herramienta que lo ha tratado como UTF-8.
Conviene ejecutarlo antes de cada commit o añadirlo a un hook de pre-commit.
Cómo editar Latin-1 en Genero sin dañarlo
En el editor: configura la codificación del proyecto. En VS Code, por ejemplo, en el .vscode/settings.json del proyecto:
{
"files.encoding": "iso88591"
}En scripts y herramientas automáticas: edita por bytes, sin decodificar el texto. Las dos formas siguientes conservan los acentos:
LC_ALL=C sed -i 's/^MAIN$/MAIN -- editado/' programa.4glp = "programa.4gl"
datos = open(p, "rb").read()
open(p, "wb").write(datos.replace(b"MAIN\n", b"MAIN -- editado\n", 1))Después de editar, ejecuta el grep anterior para comprobar que no ha aparecido ningún EF BF BD.
Si el daño ya está hecho: no se puede reconstruir a partir del fichero dañado. Hay que recuperar la versión anterior desde el control de versiones (git checkout <commit> -- fichero.4gl) y volver a aplicar el cambio con una de las dos formas anteriores.
¿Y pasar todo a UTF-8?
Es la solución de fondo, pero no basta con convertir los ficheros. Según el manual, el locale del compilador, el del programa en ejecución y el del cliente de la base de datos tienen que coincidir entre sí. Pasar a UTF-8 es un cambio de entorno completo, no un ajuste del editor. Mientras no se haga, lo que procede es proteger el Latin-1.
Conclusión
Un fuente en Latin-1 editado con una herramienta que lo trata como UTF-8 pierde los acentos sin ningún aviso, y no se pueden recuperar a partir del propio fichero. Configura el editor, edita por bytes en los scripts y busca EF BF BD antes de cada commit.
Fuentes
- Manual Genero BDL 6.00: Understanding locale settings (codificación de los fuentes y locale de compilación y ejecución).
Deja una respuesta