TernFS
| TernFS | ||
|---|---|---|
| Información general | ||
| Tipo de programa | software | |
| Desarrollador | XTX Markets | |
| Licencia |
GPL-2.0-o-posterior (núcleo) Apache-2.0 con excepción LLVM (protocolos y bibliotecas cliente) | |
| Enlaces | ||
TernFS es un software libre y sistema de archivos distribuido desarrollado por la empresa de trading cuantitativo XTX Markets.[1][2] Está diseñado para cargas de trabajo de aprendizaje automático a gran escala que requieren una gestión eficiente de archivos inmutables sobre almacenamiento a escala de exabytes.[1] TernFS tiene como objetivo ofrecer alto rendimiento, robustez e integridad de datos en múltiples centros de datos y regiones. El sistema fue liberado como software libre por XTX Markets en 2025 bajo una combinación de licencias GPL-2.0-o-posterior y Licencia Apache 2.0 (con excepciones LLVM).[3]
Descripción general
TernFS fue diseñado para satisfacer las necesidades de datos de las canalizaciones de aprendizaje automático de XTX Markets, que implican leer y escribir archivos muy grandes e inmutables.[4] En este contexto, «inmutable» se refiere a archivos que no se modifican nunca después de su creación, y «grandes» a archivos que suelen tener varios megabytes o más.
El sistema está pensado para implementaciones de hasta:
- 10 exabytes (EB) de almacenamiento lógico de archivos,
- 1 billón de archivos (tamaño medio de 10 MB),
- 100 mil millones de directorios (media de 10 archivos por directorio), y
- 1 millón de clientes conectados simultáneamente.
TernFS está diseñado para ejecutarse en hardware de tipo commodity conectado mediante redes Ethernet.[5]
Diseño
TernFS pone énfasis en la durabilidad, la consistencia y la recuperabilidad:[6]
- Los archivos se escriben por completo o no son visibles para otros clientes, evitando estados de escritura parcial.
- Las pérdidas de energía o fallos de nodo no pueden corromper los metadatos ni los datos de los archivos.
- El bit rot y la corrupción silenciosa de datos se mitigan mediante redundancia y procesos de verificación («scrubbing»).
- La pérdida de datos se considera muy poco probable salvo en eventos catastróficos (por ejemplo, incendio o inundación).
- El sistema puede seguir funcionando durante tareas de mantenimiento o fallos parciales de nodos.
- Los archivos eliminados pueden restaurarse según la política de retención configurada.
- Soporta replicación multirregional para redundancia geográfica y escalabilidad entre centros de datos.
Historia
TernFS se desarrolló inicialmente internamente en XTX Markets en 2022 para gestionar el rápido crecimiento de las cargas de trabajo de aprendizaje automático de la empresa. Entró en producción en 2023 y fue publicado como software libre en octubre de 2025.[1]
Referencias
- ↑ a b c «XTX Markets Open-Sources TernFS: Exabyte-Scale Filesystem for ML Trading». Consultado el 9 de octubre de 2025.
- ↑ «High-Frequency Trading Firm XTX Markets Open Sources TernFS File System». 7 de octubre de 2025. Consultado el 9 de octubre de 2025.
- ↑ XTX Markets Tech Blog, ed. (2025). «TernFS: A distributed filesystem for exabyte-scale ML workloads». Consultado el 9 de octubre de 2025.
- ↑ «TernFS — an exabyte scale, multi-region distributed filesystem». Consultado el 9 de octubre de 2025.
- ↑ «A Major Trading Firm Has Open-Sourced The Latest Linux File-System: TernFS». Consultado el 9 de octubre de 2025.
- ↑ «XTX Markets Open-Sources TernFS, Its Exabyte-Scale Filesystem». 7 de octubre de 2025. Consultado el 9 de octubre de 2025.
Enlaces externos
- Esta obra contiene una traducción derivada de «TernFS» de Wikipedia en inglés, concretamente de esta versión del 12 de febrero de 2025, publicada por sus editores bajo la Licencia de documentación libre de GNU y la Licencia Creative Commons Atribución-CompartirIgual 4.0 Internacional.
Content Disclaimer
Informasi ini disarikan dari Wikipedia dan disajikan kembali untuk tujuan edukasi. Konten tersedia di bawah lisensi CC BY-SA 3.0. Kami tidak bertanggung jawab atas ketidakakuratan data yang bersumber dari kontribusi publik tersebut.
- The information displayed on this website is sourced in part or in whole from Wikipedia and has been adapted for the purpose of restating it. We strive to provide accurate and relevant information, however:
- There is no guarantee of absolute accuracy. Wikipedia is an open, collaborative project that can be edited by anyone, so information is subject to change.
- It is not intended to constitute professional advice. The content displayed is for informational and educational purposes only. For important decisions (e.g., medical, legal, or financial), please consult a professional.
- Content copyright. Wikipedia is licensed under the Creative Commons Attribution-ShareAlike License (CC BY-SA). This means that content may be reused with appropriate attribution and shared under a similar license.
- Responsible use. Any risk arising from the use of information from this website is entirely the responsibility of the user.