Para efetuar download via HTTP ou FTP, use qualquer um dos comandos wget ou lftp. O comando wget analisa os subdiretórios recursivamente automaticamente e baixa a árvore de dados inteira com um simples comando. Entretanto, se você não tiver cuidado, é possível que se baixe muito mais dados do que o pretendido. Os seguintes comandos espelham a distribuição Fedora Core atual inteira:

cd /var/www/mirror 
wget --mirror -np -nH --cut-dirs=2 http://mirror.example.com/pub/mirror/fedora/linux/core/5/

Note as opções usadas acima:

A mesma sintaxe funciona para ambos os espelhos principais HTTP e FTP. É possível que você possa baixar alguns arquivos estranhos se o site HTTP formatar suas páginas para navegação visual. Estes arquivos podem ser seguramente excluídos, mas retornam a cada atualização do espelho a menos que você use opções especiais para excluí-los. Veja as páginas de manual (man) do comando wget para mais informações.

O comando lftp funciona como o comando wget e espelha o índice do servidor HTTP ou FTP. O comando wget, entretanto, não exclui arquivos antigos localmente. Esta funcionalidade é importante para atualizar espelhos de repositórios, mantendo-os sincronizados com o espelho principal. Novos arquivos são criados e arquivos antigos são excluidos automaticamente no espelho principal freqüentemente.

O comando lftp sincroniza arquivos e diretórios a partir de uma máquina remota como o rsync, mas usa protocolos HTTP ou FTP. Use o seguinte comando para espelhar a distribuição do Fedora Core inteira com o lftp:

cd /var/www/mirror && \
lftp -c "open http://mirror.example.com/pub/mirror/linux/core/5/i386/ && \
mirror --delete --verbose"

O parâmetro -c executa um conjunto de instruções num processo lftp. Instruções são separadas com && para impedir o comando lftp de executar se o comando cd falhar. As instruções do comando lftp trabalham da mesma maneira. A sintaxe de instrução A && B é freqüentemente uma abreviatura para " se A retornar com sucesso, execute B." Uma explicação sobre os comandos do lftp seguem:

O comando lftp abaixo mantém um cópia exata do diretório para você. Ele apenas efetua o download de arquivos novos ou modificados e exclui apenas aqueles que já não existem no espelho principal.

Como o wget, é possível que você possa baixa alguns arquivos indesejáveis. O comando lftp suporta expressões regulares para excluir arquivos dentro de um comando mirror. O comando abaixo mostra como espelhar uma distribuição do Fedora Core atual de repositório atualizado, excluindo os diretórios debug e repodata:

cd /var/www/mirror && \
lftp -c "set mirror:exclude-regex 'debug\/|repodata\/' && \
open http://mirror.example.com/pub/mirror/linux/core/updates/5/i386/ && \
mirror --delete --verbose"

Consulte a página de manual (man) do comando lftp para mais detalhes e opções de uso.

	Usando Proxy para obtenção via HTTP ou FTP
	Se você está atrás de um proxy ou firewall, você pode precisar usar um proxy HTTP para espelhar arquivos. Para fazer isto, exporte as variáveis de ambiente http_proxy e ftp_proxy antes de executar os comandos wget ou lftp: export http_proxy=http://nome de usuário:senha@servidor:porta export ftp_proxy=http://nome de usuário:senha@servidor:porta

Use o comando rsync para sincronizar um conjunto de arquivos e/ou diretórios com uma máquina remota. Ele opera da mesma maneira que o rcp, mas geralmente é mais rápido. Uma razão para a velocidade é que o rsync tem um protocolo especial que avalia e pula arquivos (ou porções de arquivos) que já foram baixados.

Inicie identificando os módulos disponíveis no site do espelho principal que você escolheu. Note que os dois pontos duplos "::" são sempre usados depois do nome da máquina para separá-la do resto do caminho do rsync. O comando a seguir gera uma lista de "módulos" do espelho principal.

rsync mirror.example.org::

Estes módulos são aproximadamente equivalentes aos diretórios de nível de topo e eles seguem as mesmas regras. Para listar qualquer diretório do espelho principal, adicione o caminho do diretório no comando abaixo. Por exemplo, no espelho principal, o módulo fedora-linux-core é equivalente ao caminho fedora/linux/core no servidor de download principal do Projeto Fedora. Para listar o conteúdo da pasta da distribuição Fedora Core 5 no servidor principal, execute o seguinte comando. Não esqueça da barra direita "/". Sem ela, você receberá uma lista de somente um nome de pasta que corresponde ao último componente do caminho remoto.

rsync mirror.example.org::fedora-linux-core/5/

Para efetuar download usando o rsync, adicione um caminho de destino do seu sistema ao final da linha de comando. A árvore de arquivos resultante da lista de arquivos são obtidos para o caminho local que você especificou. Lembre-se, se você omitir a barra no final no caminho remoto, então o último componente desse caminho é criado como uma pasta e seu conteúdo é copiado.

rsync filehouse.exemplo.org::files/misc/ /var/www/misc/

Quando efetuar download usando o rsync com a finalidade de espelhar, use algumas opções de linha de comando para melhorar o desempenho e ter algumas informações. As opções -PHav habilitam as seguintes funcionalidades do rsync:

Remova a opção -v se você executar este processo de espelhamento como parte de um script ou não tenha necessidade de monitorar o processo. O seguinte exemplo espelha todas as versões disponíveis do Fedora Core a partir de um site principal.

	Exemplo de comando efetua download de muitos gigabytes de arquivos
	Este comando obtém muitos gigabytes de arquivos e a intenção é usá-lo apenas como um exemplo. Não execute esse comando se não compreender suas conseqüências.

rsync -PHav mirror.example.org::fedora-linux-core/5/ /var/www/mirror/fedora/linux/core/5

A opção -n executa em modo de teste usando os outros parâmetros passados. Use este comando para testar qualquer comando rsync que você não esteja certo de quais arquivos você receberá. Veja também a Possível perda de dados.

A opção -z habilita compressão durante o processo rsync. O servidor compacta os dados antes da transmissão e o cliente descompacta antes de gravar os dados no disco.

	Compressão usando rsync
	A grande maioria das distribuições Fedora Core consistem de arquivos RPM, que por si só já são dados comprimidos. Portanto, a compressão adicional não poupa tempo e, em vez disso, adiciona uma carga desnecessária sobre a CPU do espelho principal. Por cortesia, não use a opção -z para este propósito.

A próxima seção apresenta algumas opções de funcionalidades adicionais que podem ser usadas para eliminar automaticamente subdiretórios da árvore de pastas baixadas. Com o uso apropriado, elas resultam em um espelho que é tão organizado e com funcionalidades completas quanto qualquer site principal público altamente requisitado.

Possível perda de dados

Se você não for extremamente cauteloso ao usar estas opções, é possível excluir uma grande porção dos seus dados espelhados. Para a correção deste problema, pode ser necessário executar os passos descritos na Seção 2.2, “Copiando a Distribuição Original”. Por outro lado, se você também for descuidado com o seu caminho de destino e estiver como root, você poderá colocar seu sistema inteiro em risco. Conheça seu ambiente antes de usar estas opções: Qual é o seu atual diretório de trabalho? Use o pwd para achá-lo, caso você esteja em dúvida. Você está logado como root? Se você estiver usando extensões SELinux, qual é o seu atual contexto de segurança? Você testou este comando com a opção -n? (veja a Seção 2.4.3, “Efetuando download usando o rsync”)

Use a opção --exclude com um simples padrão definido de caracteres para impedir que se baixe certos arquivos e/ou pastas. Por exemplo, --exclude "*.iso" exclui qualquer arquivo terminado com ".iso".

Use a opção --delete, novamente com um padrão definido de caracteres, para remover qualquer arquivo do sistema local que não tenha um correspondente no espelho principal. Esta opção previne lixos de arquivos indesejáveis em seu espelho. Você pode também usá-lo para eliminar retroativamente subdiretórios da árvore que não deseja mais manter ou efetuar download.

Coringas são permitidos com comandos rsync, incluindo o asterisco *, ponto de interrogação ? e colchetes [ ]. O ponto de interrogação e os colchetes funcionam como no shell; O primeiro corresponde a qualquer caractér simples, enquanto os colchetes definem uma combinação de caracteres. Asteriscos são especialmente poderosos quando combinados com uma porção de um nome de arquivo. O asterisco duplo ** combina padrões definidos de qualquer caractér, incluindo barras; Um asterisco simples * corresponde a qualquer caractér, mas pára em uma barra. Desta maneira, julgue bem ao usar um ou outro. O asterisco duplo é muito útil para espelhar uma árvore que inclui múltiplas instâncias de diretórios e arquivos que contenham um padrão definido. Um bom exemplo é espelhar várias versões do Fedora Core, onde determinados nomes de arquivos aparecem em várias versões.

Combinando Padrões Definidos com Coringas

Use asterisco duplo para eliminar diretórios que repetem ao longo de uma árvore espelhada. Por exemplo, quando espelhando um site que usa somente máquinas de arquitetura i386, você pode eliminar todos os arquivos e pastas criados pra a arquitetura x86_64, usando a opção --exclude "**x86_64**". Esta combinação não somente seleciona pastas x86_64, mas também arquivos como imagens ISO para x86_64, que são indicadas pelo nome de arquivo desta forma, como por exemplo FC-x86_64-disc1.iso.

Processe uma longa lista de remoções e exclusões com as opções --exclude-from e --delete-from. Siga cada tag com um nome de arquivo que contém uma lista de padrões definidos, um por linha, para serem combinados pela opção apropriada.

Estas dicas de sintaxe são somente uma explicação superficial do rsync, mas suficiente para fazer seu primeiro espelho. Uma vez que você selecionou seu local e formulou suas remoções e exclusões, execute o comando rsync com a opção -n. Redirecione a saída para um arquivo onde você possa examinar a lista resultante dos arquivos no editor de texto de sua escolha.

O seguinte exemplo espelha a distribuição do Fedora Core 5 inteira, com a opção --exclude que evita o download de:

A opção -n é incluída com o propósito de fazer testes. A barra invertida no final das linhas indica este exemplo como uma linha de comando única.

rsync -Pan --delete --exclude "**x86_64**" --exclude "**headers**" \
  --exclude "**debug**" --exclude "**iso**" \
  mirror.example.com::fedora-linux-core/5/ \
  /var/www/mirror/fedora/core/5