¿Cómo funciona Archivarix?

Publicado por: 2019-12-03

El sistema Archivarix está diseñado para descargar y restaurar sitios a los que ya no se puede acceder desde Web Archive y aquellos que están actualmente en línea. Esta es la principal diferencia del resto de "descargadores" y "analizadores de sitios". El objetivo de Archivarix no es solo descargar, sino también restaurar el sitio web de forma que esté accesible en su servidor.

Comencemos con el módulo que descarga sitios web de Web Archive. Estos son servidores virtuales ubicados en California. Su ubicación se eligió de tal manera que se obtuviera la máxima velocidad de conexión posible con el propio Archivo Web, porque sus servidores están ubicados en San Francisco. Después de ingresar datos en el campo apropiado en la página del módulo https://es.archivarix.com/restore/, toma una captura de pantalla del sitio web archivado y se dirige a la API de Web Archive para solicitar una lista de archivos contenidos en la fecha de recuperación especificada .

Después de recibir una respuesta a la solicitud, el sistema genera un mensaje con el análisis de los datos recibidos. El usuario solo necesita presionar el botón de confirmación en el mensaje recibido para comenzar a descargar el sitio web.

El uso de Web Archive API ofrece dos ventajas sobre la descarga directa cuando el script simplemente sigue los enlaces del sitio web. Primero, todos los archivos de esta recuperación se conocen de inmediato, puede estimar el volumen del sitio web y el tiempo requerido para descargarlo. Debido a la naturaleza de la operación de Web Archive, a veces funciona de manera muy inestable, por lo que es posible que se interrumpa la conexión o que se descarguen archivos de manera incompleta, por lo tanto, el algoritmo del módulo verifica constantemente la integridad de los archivos recibidos y, en tales casos, intenta descargar el contenido volviendo a conectarse a El servidor Web Archive. En segundo lugar, debido a las peculiaridades de la indexación de sitios web por Web Archive, no todos los archivos de sitios web pueden tener enlaces directos, lo que significa que cuando intente descargar un sitio web simplemente siguiendo los enlaces, no estarán disponibles. Por lo tanto, la restauración a través de la API de Archivo Web utilizada por Archivarix, permite restaurar la cantidad máxima posible de contenido archivado del sitio web para una fecha específica.

Después de completar la operación, el módulo de descarga del Archivo Web transfiere datos al módulo de procesamiento. Forma un sitio web a partir de los archivos recibidos adecuados para la instalación en el servidor Apache o Nginx. El funcionamiento del sitio web se basa en la base de datos SQLite, por lo que para comenzar solo necesita cargarlo en su servidor, y no se requiere la instalación de módulos adicionales, bases de datos MySQL y creación de usuarios. El módulo de procesamiento optimiza el sitio web creado; incluye optimización de imagen, así como compresión CSS y JS. Puede aumentar significativamente la velocidad de descarga del sitio web restaurado, si se compara con el sitio web original. La velocidad de descarga de algunos sitios de Wordpress no optimizados con un montón de complementos y archivos multimedia sin comprimir puede aumentar significativamente después del procesamiento por este módulo. Es obvio que si el sitio web se optimizó inicialmente, esto no dará un gran aumento en la velocidad de descarga.

El módulo de procesamiento elimina la publicidad, los contadores y los análisis al verificar los archivos recibidos en una amplia base de datos de proveedores de publicidad y análisis. La eliminación de enlaces externos y contactos en los que se puede hacer clic se realiza simplemente mediante un código de suma de verificación. En general, este algoritmo realiza una limpieza bastante eficiente del sitio web de "rastros del propietario anterior", aunque a veces esto no excluye la necesidad de corregir algo manualmente. Por ejemplo, el algoritmo no eliminará una secuencia de comandos Java autoescrita que redirija al usuario del sitio web a un determinado sitio web de monetización. A veces necesita agregar imágenes faltantes o eliminar residuos innecesarios, como un libro de visitas con correo no deseado. Por lo tanto, es necesario contratar a un editor del sitio web resultante. Y ya existe. Su nombre es Archivarix CMS.

Este es un CMS simple y compacto diseñado para editar sitios web creados por el sistema Archivarix. Permite buscar y reemplazar código en todo el sitio web utilizando expresiones regulares, editando el contenido en el editor WYSIWYG, agregando nuevas páginas y archivos. Archivarix CMS se puede usar junto con cualquier otro CMS en un sitio web.

Ahora hablemos sobre otro módulo utilizado para descargar sitios web existentes. A diferencia del módulo para descargar sitios web desde el Archivo Web, es imposible predecir cuántos y qué archivos necesita descargar, por lo que los servidores del módulo funcionan de una manera completamente diferente. La araña del servidor simplemente sigue todos los enlaces que están presentes en un sitio web que va a descargar. Para que el script no caiga en el ciclo de descarga sin fin de cualquier página generada automáticamente, la profundidad máxima del enlace se limita a diez clics. Y la cantidad máxima de archivos que se pueden descargar del sitio web debe especificarse con anticipación.

Para la descarga más completa del contenido que necesita, hay varias características que se han inventado en este módulo. Puede seleccionar una araña de servicio de User-Agent diferente, por ejemplo, Chrome Desktop o Googlebot. Referente para omisión de encubrimiento: si necesita descargar exactamente lo que ve el usuario cuando inicia sesión desde la búsqueda, puede instalar un Google, Yandex u otro sitio web de referencia. Para protegerse contra la prohibición por IP, puede optar por descargar el sitio web utilizando la red Tor, mientras que la IP de la araña de servicio cambia aleatoriamente dentro de esta red. Otros parámetros, como la optimización de imágenes, la eliminación de anuncios y el análisis, son similares a los parámetros del módulo de descarga del Archivo web.

Una vez completada la descarga, el contenido se transfiere al módulo de procesamiento. Sus principios de operación son completamente similares a la operación con el sitio web descargado del Archivo Web descrito anteriormente.

También vale la pena mencionar la posibilidad de clonar sitios web restaurados o descargados. A veces sucede que durante la recuperación, uno ha elegido otros parámetros que resultaron necesarios al final. Por ejemplo, eliminar enlaces externos era innecesario, y algunos enlaces externos que necesitabas, entonces no necesitas comenzar a descargar nuevamente. Solo necesita establecer nuevos parámetros en la página de recuperación y comenzar a recrear el sitio.

El uso de materiales de artículos está permitido solo si se publica el enlace a la fuente: https://archivarix.com/es/blog/how-does-it-works/

Últimas noticias:
2020.11.03
La nueva versión de CMS se ha vuelto más conveniente y comprensible para los webmasters de todo el mundo.

- Localización completa de Archivarix CMS en 13 idiomas (inglés, español, italiano, alemán, francés, portugués, polaco, turco, japonés, chino, ruso, ucraniano, bielorruso).
- Exportar todos los datos del sitio actual a un archivo zip para guardar una copia de seguridad o transferir a otro sitio.
- Mostrar y eliminar archivos zip rotos en herramientas de importación.
- Verificación de la versión de PHP durante la instalación.
- Información para instalar CMS en un servidor con NGINX PHP-FPM.
- En la búsqueda, cuando el modo experto está activado, se muestran la fecha / hora de la página y un enlace a su copia en el WebArchive.
- Mejoras en la interfaz de usuario.
- Optimización de código.

Si eres un hablante nativo en un idioma al que nuestro CMS aún no ha sido traducido, te invitamos a mejorar aún más nuestro producto. A través del servicio Crowdin, puede solicitar y convertirse en nuestro traductor oficial a nuevos idiomas.
2020.10.06
Nueva versión de Archivarix CMS.
- Soporte de interfaz de línea de comando para implementar sitios web directamente desde la línea de comando, importaciones, configuraciones, estadísticas, historial de limpieza y actualizaciones del sistema.
- Soporte para contraseñas encriptadas password_hash (), que se pueden usar en la CLI.
- Modo experto para incluir información adicional de depuración, herramientas experimentales y enlaces directos a instantáneas de WebArchive guardadas.
- Las herramientas para imágenes y enlaces internos rotos ahora pueden devolver una lista de todas las URL que faltan en lugar de eliminarlas.
- La herramienta de importación muestra archivos zip corruptos / incompletos que se pueden eliminar.
- Soporte de cookies mejorado para cumplir con los requisitos de los navegadores modernos.
- Configuración de la opción de editor predeterminada para páginas HTML (editor visual o código).
- La pestaña "Cambios" que muestra las diferencias de texto, deshabilitada de forma predeterminada, se puede habilitar en la configuración.
- Puede volver a un cambio específico en la pestaña "Cambios".
- Se corrigió la URL del mapa del sitio XML para sitios web creados con el subdominio www.
- Se corrigió la eliminación de archivos temporales que se crearon durante la instalación / importación.
- Limpieza más rápida de la historia.
- Se eliminaron las frases de localización no utilizadas.
- Cambio de idioma en la pantalla de inicio de sesión.
- Paquetes externos actualizados a las versiones más recientes.
- Uso optimizado de la memoria para calcular las diferencias de texto en la pestaña Cambios.
- Soporte mejorado para versiones antiguas de la extensión php-dom.
- Una herramienta experimental para corregir el tamaño de los archivos en la base de datos si editó los archivos directamente en el servidor.
- Una herramienta de exportación de diseño plano experimental y muy tosca.
- Soporte experimental de claves públicas para futuras funciones de API.
2020.06.08
La primera actualización de junio de Archivarix CMS con características nuevas y convenientes.
- Solucionado: la sección Historial no funcionaba si la extensión zip php no estaba habilitada.
- Ficha Historial con detalles de cambios al editar archivos de texto.
- Herramienta de edición .htaccess.
- Capacidad para limpiar las copias de seguridad hasta el punto de reversión deseado.
- El bloque "URL faltantes" se ha eliminado de las Herramientas, ya que es accesible desde el panel principal
- Se agregó comprobación y muestra espacio libre en disco en el panel principal.
- Verificación mejorada de las extensiones PHP necesarias en el inicio y la instalación inicial.
- Pequeños cambios cosméticos.
- Todas las herramientas externas actualizadas a las últimas versiones.
2020.05.21
Una actualización que los estudios web y aquellos que usan outsourcing apreciarán.
- Contraseña separada para el modo seguro.
- Modo seguro extendido. Ahora puede crear reglas y archivos personalizados, pero sin código ejecutable.
- Reinstalar el sitio desde el CMS sin tener que eliminar manualmente nada del servidor.
- Posibilidad de ordenar reglas personalizadas.
- Búsqueda y reemplazo mejorados para sitios muy grandes.
- Configuraciones adicionales para la herramienta "Metaetiqueta de ventana gráfica".
- Soporte para dominios IDN en hosting con la versión anterior de ICU.
- En la instalación inicial con una contraseña, se agrega la capacidad de cerrar sesión.
- Si se detecta .htaccess durante la integración con WP, las reglas de Archivarix se agregarán a su inicio.
- Al descargar sitios por número de serie, CDN se utiliza para aumentar la velocidad.
- Otras mejoras menores y correcciones.
2020.05.12
Nuestro Archivarix CMS se está desarrollando a pasos agigantados. Nueva actualización en la que apareció:
- Nuevo panel de control para ver estadísticas, configuraciones del servidor y actualizaciones del sistema.
- Capacidad para crear plantillas y agregar convenientemente nuevas páginas al sitio.
- Integración con Wordpress y Joomla en un clic.
- Ahora en Búsqueda-Sustitución, se realiza un filtrado adicional como constructor, donde puede agregar cualquier número de reglas.
- Ahora puede filtrar los resultados por dominio / subdominios, fecha-hora, tamaño de archivo.
- Una nueva herramienta para restablecer el caché en Cloudlfare o habilitar / deshabilitar el modo Dev.
- Una nueva herramienta para eliminar versiones en las URL, por ejemplo, "?ver=1.2.3" en css o js. Le permite reparar incluso aquellas páginas que parecían torcidas en el WebArchive debido a la falta de estilos con diferentes versiones.
- La herramienta robots.txt tiene la capacidad de habilitar y agregar inmediatamente un mapa de Sitemap.
- Creación automática y manual de puntos de reversión para cambios.
- Importar puede importar plantillas.
- Guardar / Importar la configuración del cargador contiene los archivos personalizados creados.
- Para todas las acciones que pueden durar más que un tiempo de espera, se muestra una barra de progreso.
- Una herramienta para agregar una metaetiqueta de ventana gráfica a todas las páginas de un sitio.
- Las herramientas para eliminar enlaces e imágenes rotas tienen la capacidad de dar cuenta de los archivos en el servidor.
- Una nueva herramienta para corregir enlaces incorrectos de urlencode en código html. Raramente, pero puede ser útil.
- Herramienta de URL faltantes mejorada. Junto con el nuevo cargador, ahora cuenta las llamadas a URL inexistentes.
- Consejos de expresiones regulares en búsqueda y sustitución.
- Mejora de la comprobación de las extensiones de php faltantes.
- Se actualizaron todas las herramientas js usadas a las últimas versiones.

Esta y muchas otras mejoras cosméticas y optimizaciones de velocidad.