Pourquoi Zip est-il capable de compresser des fichiers uniques mieux que plusieurs fichiers ayant le même contenu?
Pouvoir compresser nos fichiers pour faciliter leur partage et / ou leur transport La vie électronique est beaucoup plus facile, mais parfois nous pouvons voir des résultats de calibrage bizarres ou inattendus après les avoir compressés. Pourquoi donc?
La session de questions-réponses d'aujourd'hui nous est offerte par SuperUser, une subdivision de Stack Exchange, un regroupement communautaire de sites Web de questions-réponses.
Photo gracieuseté de Jean-Etienne Minh-Duy Poirrier (Flickr).
La question
Le lecteur SuperUser sixtyfootersdude veut savoir pourquoi zip est capable de compresser des fichiers uniques mieux que plusieurs fichiers avec le même type de contenu:
Supposons que je avoir 10 000 fichiers XML et que vous voulez les envoyer à un ami. Avant de les envoyer, je voudrais les compresser
Méthode 1: Ne pas les compresser
Résultats:
Méthode 2: Zipper chaque fichier séparément et lui envoyer 10 000 fichiers XML compressés
Commande:
Résultats:
Méthode 3: Créer un fichier zip unique contenant tous les 10 000 fichiers XML
Commande:
Résultats:
Méthode 4: concaténer les fichiers dans un fichier unique et le compresser
Résultats:
Questions
- Pourquoi obtenir des résultats aussi spectaculaires quand je ne fais que compresser un seul fichier?
- Je m'attendais à obtenir des résultats nettement meilleurs avec la méthode 3 plutôt qu'avec la méthode 2, mais je ne pas. Pourquoi est-ce?
- Ce comportement est-il spécifique à zip? Si j'essayais d'utiliser Gzip, aurais-je des résultats différents?
Informations supplémentaires
Méta-données
L'une des réponses donne à penser que la différence réside dans les métadonnées du système stockées dans le fichier zip. Je ne crois pas que cela puisse être le cas. Pour le tester, j'ai fait ce qui suit:
Le fichier zip résultant est de 1,4 Mo. Cela signifie qu'il y a encore environ 10 Mo d'espace inexpliqué.
Pourquoi zip est-il capable de compresser des fichiers uniques mieux que plusieurs fichiers avec le même type de contenu?
Les contributeurs SuperUser de la réponse
Alan Shutko et Aganju la réponse pour nous. Tout d'abord, Alan Shutko:
La compression Zip est basée sur des motifs répétitifs dans les données à compresser, et la compression est d'autant meilleure que le fichier est long, plus on peut trouver de motifs plus longs.
Simplifié, si vous comprimez un fichier, le dictionnaire qui mappe les codes (courts) vers les modèles (plus longs) est nécessairement contenu dans chaque fichier zip résultant; si vous zippez un fichier long, le dictionnaire est "réutilisé" et devient encore plus efficace pour tout le contenu.
Si vos fichiers sont même un peu similaires (comme le texte l'est toujours), la réutilisation du dictionnaire devient très efficace et le résultat est un fichier zip total beaucoup plus petit
suivi de la réponse d'Aganju:
Dans zip, chaque fichier est compressé séparément. Le contraire est compression solide , c'est-à-dire que les fichiers sont compressés ensemble. 7-zip et Rar utilisent une compression solide par défaut. Gzip et Bzip2 ne peuvent pas compresser plusieurs fichiers, donc Tar est utilisé en premier, ayant le même effet qu'une compression solide.
Comme les fichiers xml ont une structure similaire (et probablement un contenu similaire), si les fichiers sont compressés ensemble, la compression sera plus élevée .
Par exemple, si un fichier contient la chaîne "
<élément name = " et que le compresseur a déjà trouvé cette chaîne dans un autre fichier, il la remplacera par un petit pointeur sur la correspondance précédente. Si le compresseur n'utilise pas de compression solide, la première occurrence de la chaîne dans le fichier sera enregistrée comme littéral , ce qui est plus grand.
Avez-vous quelque chose à ajouter à l'explication? Sonnez dans les commentaires. Vous voulez lire plus de réponses d'autres utilisateurs de Stack Exchange? Découvrez le fil de discussion complet ici.
Microsoft Security Essentials (Windows Defender sous Windows 8) était une fois de plus au top. Au fil des ans, il a glissé dans les résultats des tests, mais Microsoft a fait valoir que les tests n'étaient pas significatifs. Maintenant, Microsoft conseille aux utilisateurs de Windows d'utiliser un antivirus tiers.
Didacticiel et conseils relatifs à la caméra Google Pixel 2
En 2017, le Google Pixel 2 a été marqué comme ayant le meilleur appareil photo de smartphone dans le monde. La puissance de la caméra Google Pixel 2 se résume à de nouvelles améliorations matérielles, et plus important encore, des changements au logiciel utilisé pour traiter les images.De nombreux propriétaires de Google Pixel 2 ne savent toujours pas comment maîtriser l'appareil photo et ils sont absents.Les propri
