Atualização automática: 2026-05-18 12:02:13

simple-crawler/wget-cloner.js

@@ -112,6 +112,8 @@ class WgetCloner {
       '--convert-links',                   // Converter links para locais
       '--restrict-file-names=windows',     // Nomes compatíveis com Windows
       '--domains=' + urlObj.hostname,      // Apenas este domínio
+      '--span-hosts',                      // Permitir redirecionamentos entre subdomínios/CDN
+      '--user-agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36"',
       '--no-parent',                       // Não subir diretórios
       '--no-check-certificate',            // Ignorar SSL
       '-e', 'robots=off',                  // Ignorar robots.txt
@@ -161,6 +163,15 @@ class WgetCloner {
           console.log(`${'='.repeat(60)}`);
           console.log(`📁 Localização: ${siteDir}`);
           
+          const { execSync } = require('child_process');
+          // Mover arquivos do subdiretório do domínio para a raiz do siteDir
+          try {
+            const domainDir = path.join(siteDir, urlObj.hostname);
+            if (fs.existsSync(domainDir)) {
+              execSync(`cp -r "${domainDir}"/* "${siteDir}"/ 2>/dev/null && rm -rf "${domainDir}"`);
+            }
+          } catch (e) {}
+
           // Baixar imagens faltantes manualmente
           console.log(`\n🔍 Verificando imagens faltantes...`);
           this.downloadMissingImages(siteDir, url).then(() => {
@@ -203,6 +214,8 @@ class WgetCloner {
             directory: siteDir,
             method: 'wget',
             exitCode: code,
+            files: stats.fileCount,
+            size: stats.totalSize,
             cloneInfo: info
           });
         } else {