¿Cómo funciona Archivarix?

Publicado por: 2019-12-03

El sistema Archivarix está diseñado para descargar y restaurar sitios a los que ya no se puede acceder desde Web Archive y aquellos que están actualmente en línea. Esta es la principal diferencia del resto de "descargadores" y "analizadores de sitios". El objetivo de Archivarix no es solo descargar, sino también restaurar el sitio web de forma que esté accesible en su servidor.

Comencemos con el módulo que descarga sitios web de Web Archive. Estos son servidores virtuales ubicados en California. Su ubicación se eligió de tal manera que se obtuviera la máxima velocidad de conexión posible con el propio Archivo Web, porque sus servidores están ubicados en San Francisco. Después de ingresar datos en el campo apropiado en la página del módulo https://es.archivarix.com/restore/, toma una captura de pantalla del sitio web archivado y se dirige a la API de Web Archive para solicitar una lista de archivos contenidos en la fecha de recuperación especificada .

Después de recibir una respuesta a la solicitud, el sistema genera un mensaje con el análisis de los datos recibidos. El usuario solo necesita presionar el botón de confirmación en el mensaje recibido para comenzar a descargar el sitio web.

El uso de Web Archive API ofrece dos ventajas sobre la descarga directa cuando el script simplemente sigue los enlaces del sitio web. Primero, todos los archivos de esta recuperación se conocen de inmediato, puede estimar el volumen del sitio web y el tiempo requerido para descargarlo. Debido a la naturaleza de la operación de Web Archive, a veces funciona de manera muy inestable, por lo que es posible que se interrumpa la conexión o que se descarguen archivos de manera incompleta, por lo tanto, el algoritmo del módulo verifica constantemente la integridad de los archivos recibidos y, en tales casos, intenta descargar el contenido volviendo a conectarse a El servidor Web Archive. En segundo lugar, debido a las peculiaridades de la indexación de sitios web por Web Archive, no todos los archivos de sitios web pueden tener enlaces directos, lo que significa que cuando intente descargar un sitio web simplemente siguiendo los enlaces, no estarán disponibles. Por lo tanto, la restauración a través de la API de Archivo Web utilizada por Archivarix, permite restaurar la cantidad máxima posible de contenido archivado del sitio web para una fecha específica.

Después de completar la operación, el módulo de descarga del Archivo Web transfiere datos al módulo de procesamiento. Forma un sitio web a partir de los archivos recibidos adecuados para la instalación en el servidor Apache o Nginx. El funcionamiento del sitio web se basa en la base de datos SQLite, por lo que para comenzar solo necesita cargarlo en su servidor, y no se requiere la instalación de módulos adicionales, bases de datos MySQL y creación de usuarios. El módulo de procesamiento optimiza el sitio web creado; incluye optimización de imagen, así como compresión CSS y JS. Puede aumentar significativamente la velocidad de descarga del sitio web restaurado, si se compara con el sitio web original. La velocidad de descarga de algunos sitios de Wordpress no optimizados con un montón de complementos y archivos multimedia sin comprimir puede aumentar significativamente después del procesamiento por este módulo. Es obvio que si el sitio web se optimizó inicialmente, esto no dará un gran aumento en la velocidad de descarga.

El módulo de procesamiento elimina la publicidad, los contadores y los análisis al verificar los archivos recibidos en una amplia base de datos de proveedores de publicidad y análisis. La eliminación de enlaces externos y contactos en los que se puede hacer clic se realiza simplemente mediante un código de suma de verificación. En general, este algoritmo realiza una limpieza bastante eficiente del sitio web de "rastros del propietario anterior", aunque a veces esto no excluye la necesidad de corregir algo manualmente. Por ejemplo, el algoritmo no eliminará una secuencia de comandos Java autoescrita que redirija al usuario del sitio web a un determinado sitio web de monetización. A veces necesita agregar imágenes faltantes o eliminar residuos innecesarios, como un libro de visitas con correo no deseado. Por lo tanto, es necesario contratar a un editor del sitio web resultante. Y ya existe. Su nombre es Archivarix CMS.

Este es un CMS simple y compacto diseñado para editar sitios web creados por el sistema Archivarix. Permite buscar y reemplazar código en todo el sitio web utilizando expresiones regulares, editando el contenido en el editor WYSIWYG, agregando nuevas páginas y archivos. Archivarix CMS se puede usar junto con cualquier otro CMS en un sitio web.

Ahora hablemos sobre otro módulo utilizado para descargar sitios web existentes. A diferencia del módulo para descargar sitios web desde el Archivo Web, es imposible predecir cuántos y qué archivos necesita descargar, por lo que los servidores del módulo funcionan de una manera completamente diferente. La araña del servidor simplemente sigue todos los enlaces que están presentes en un sitio web que va a descargar. Para que el script no caiga en el ciclo de descarga sin fin de cualquier página generada automáticamente, la profundidad máxima del enlace se limita a diez clics. Y la cantidad máxima de archivos que se pueden descargar del sitio web debe especificarse con anticipación.

Para la descarga más completa del contenido que necesita, hay varias características que se han inventado en este módulo. Puede seleccionar una araña de servicio de User-Agent diferente, por ejemplo, Chrome Desktop o Googlebot. Referente para omisión de encubrimiento: si necesita descargar exactamente lo que ve el usuario cuando inicia sesión desde la búsqueda, puede instalar un Google, Yandex u otro sitio web de referencia. Para protegerse contra la prohibición por IP, puede optar por descargar el sitio web utilizando la red Tor, mientras que la IP de la araña de servicio cambia aleatoriamente dentro de esta red. Otros parámetros, como la optimización de imágenes, la eliminación de anuncios y el análisis, son similares a los parámetros del módulo de descarga del Archivo web.

Una vez completada la descarga, el contenido se transfiere al módulo de procesamiento. Sus principios de operación son completamente similares a la operación con el sitio web descargado del Archivo Web descrito anteriormente.

También vale la pena mencionar la posibilidad de clonar sitios web restaurados o descargados. A veces sucede que durante la recuperación, uno ha elegido otros parámetros que resultaron necesarios al final. Por ejemplo, eliminar enlaces externos era innecesario, y algunos enlaces externos que necesitabas, entonces no necesitas comenzar a descargar nuevamente. Solo necesita establecer nuevos parámetros en la página de recuperación y comenzar a recrear el sitio.

El uso de materiales de artículos está permitido solo si se publica el enlace a la fuente: https://es.archivarix.com/blog/how-does-it-works/

Últimas noticias:
2020.05.21
Una actualización que los estudios web y aquellos que usan outsourcing apreciarán.
- Contraseña separada para el modo seguro.
- Modo seguro extendido. Ahora puede crear reglas y archivos personalizados, pero sin código ejecutable.
- Reinstalar el sitio desde el CMS sin tener que eliminar manualmente nada del servidor.
- Posibilidad de ordenar reglas personalizadas.
- Búsqueda y reemplazo mejorados para sitios muy grandes.
- Configuraciones adicionales para la herramienta "Metaetiqueta de ventana gráfica".
- Soporte para dominios IDN en hosting con la versión anterior de ICU.
- En la instalación inicial con una contraseña, se agrega la capacidad de cerrar sesión.
- Si se detecta .htaccess durante la integración con WP, las reglas de Archivarix se agregarán a su inicio.
- Al descargar sitios por número de serie, CDN se utiliza para aumentar la velocidad.
- Otras mejoras menores y correcciones.
2020.05.12
Nuestro Archivarix CMS se está desarrollando a pasos agigantados. Nueva actualización en la que apareció:
- Nuevo panel de control para ver estadísticas, configuraciones del servidor y actualizaciones del sistema.
- Capacidad para crear plantillas y agregar convenientemente nuevas páginas al sitio.
- Integración con Wordpress y Joomla en un clic.
- Ahora en Búsqueda-Sustitución, se realiza un filtrado adicional como constructor, donde puede agregar cualquier número de reglas.
- Ahora puede filtrar los resultados por dominio / subdominios, fecha-hora, tamaño de archivo.
- Una nueva herramienta para restablecer el caché en Cloudlfare o habilitar / deshabilitar el modo Dev.
- Una nueva herramienta para eliminar versiones en las URL, por ejemplo, "?ver=1.2.3" en css o js. Le permite reparar incluso aquellas páginas que parecían torcidas en el WebArchive debido a la falta de estilos con diferentes versiones.
- La herramienta robots.txt tiene la capacidad de habilitar y agregar inmediatamente un mapa de Sitemap.
- Creación automática y manual de puntos de reversión para cambios.
- Importar puede importar plantillas.
- Guardar / Importar la configuración del cargador contiene los archivos personalizados creados.
- Para todas las acciones que pueden durar más que un tiempo de espera, se muestra una barra de progreso.
- Una herramienta para agregar una metaetiqueta de ventana gráfica a todas las páginas de un sitio.
- Las herramientas para eliminar enlaces e imágenes rotas tienen la capacidad de dar cuenta de los archivos en el servidor.
- Una nueva herramienta para corregir enlaces incorrectos de urlencode en código html. Raramente, pero puede ser útil.
- Herramienta de URL faltantes mejorada. Junto con el nuevo cargador, ahora cuenta las llamadas a URL inexistentes.
- Consejos de expresiones regulares en búsqueda y sustitución.
- Mejora de la comprobación de las extensiones de php faltantes.
- Se actualizaron todas las herramientas js usadas a las últimas versiones.

Esta y muchas otras mejoras cosméticas y optimizaciones de velocidad.
2020.02.14
¡Nuevo viernes, nuevas actualizaciones!
Se hicieron muchas cosas nuevas y útiles en Archivarix CMS:
- En Buscar y reemplazar, ahora puede filtrar por fecha de url.
- Ahora los enlaces externos de todas las páginas del sitio se pueden eliminar con solo hacer clic en un botón. Se conservan las anclas.
- Un nuevo parámetro ACMS_SAFE_MODE, que prohíbe cambiar la configuración del cargador / CMS y cargar archivos personalizados, también está prohibido que las importaciones importen configuraciones y archivos personalizados.
- Los archivos de configuración JSON para el cargador y el CMS ahora se pueden descargar a su computadora y descargar al CMS desde un archivo en la computadora. Por lo tanto, la transferencia de configuraciones a otros sitios se ha vuelto aún más fácil.
- Crear reglas personalizadas se ha vuelto más conveniente, a menudo se usan patrones que puede elegir.
- Se pueden crear nuevos archivos personalizados en el administrador de archivos sin tener que descargar el archivo.
- El árbol de URL para el dominio principal siempre viene primero.
- Si oculta el árbol de URL del dominio / subdominio, esta configuración se guarda mientras trabaja con el CMS.
- En lugar de dos botones, abre / contrae el árbol de URL, ahora uno que puede hacer ambas cosas.
- Se simplificó la creación de una nueva URL y, al crearla, puede especificar inmediatamente el archivo desde la computadora.
- En el diseño móvil, la parte principal de trabajo es lo primero.
- Después de cada manipulación del archivo, su tamaño se actualiza en la base de datos.
- Botones fijos para retrocesos selectivos del historial.
- Se corrigió la creación de nuevas URL para subdominios que contienen números en el nombre de dominio.
2020.02.07
Nueva porción de actualizaciones!
No hay necesidad de cambiar nada en el código fuente de los archivos ahora.
- Ahora puede cargar sitios en el servidor cargando en el servidor solo un script de nuestro CMS Archivarix.
- Para cambiar algo en la configuración de CMS, ya no necesita abrir su código fuente. Puede establecer una contraseña o límites inferiores directamente desde la sección Configuración.
- Para conectar sus contadores, rastreadores, secuencias de comandos personalizadas, ahora se usa una carpeta "incluye" separada dentro de la carpeta .content.xxxxxx. También puede cargar archivos personalizados directamente a través del nuevo administrador de archivos en CMS. Agregar contadores y análisis a todas las páginas del sitio también se ha vuelto conveniente y comprensible.
- Las importaciones admiten una nueva estructura de archivos con configuraciones y la carpeta "incluye".
- Se agregaron atajos de teclado para trabajar en el editor de código.

Estas y muchas otras mejoras en la nueva versión. El cargador también se ha actualizado y funciona con la configuración que crea el CMS.
2020.01.23
¡Otra mega actualización de Archivarix CMS!

Se agregaron herramientas muy útiles que permiten hacer clic en un botón:
- limpiar todos los enlaces internos rotos,
- eliminar imágenes faltantes,
- establece rel = "nofollow" para todos los enlaces externos.

Ahora se puede importar una recuperación adicional directamente desde el propio CMS. Puede combinar diferentes recuperaciones en un solo sitio de trabajo.

Para aquellos que trabajan con sitios grandes o usan un alojamiento deficiente, todas las acciones que anteriormente podrían detenerse en el tiempo de espera de su alojamiento ahora se dividirán en partes y continuarán automáticamente hasta que se completen. ¿Quieres hacer un reemplazo en el código de 500 mil archivos? Importar varios gigabytes de recuperación? Todo esto ahora es posible en cualquier alojamiento, incluso muy barato. El tiempo de espera (por defecto, 30 segundos) se puede cambiar en el parámetro ACMS_TIMEOUT.

Nuestro cargador (index.php) ahora funciona en los protocolos http y https, independientemente de los parámetros de compilación. Puede forzar el protocolo cambiando el valor del parámetro ARCHIVARIX_PROTOCOL.