Usenet : comment ça marche ?
Avertissement : certaines formes de téléchargement peuvent nuire à la création artistique et ne sont pas tolérées partout, renseignez-vous sur les lois de votre pays relatives à la copie privée sous peine d’encourir des sanctions. Je n’aborderai pas la partie post (upload).
Cet article n’est en aucun cas une incitation au piratage mais une information.
C’est quoi usenet ?
Une sorte d’ancêtre d’Internet, né à la fin des années 70. Avant que nous ne connaissions les emails, tchats ou plus simplement les forums classiques, des universités avaient mis en place un réseau permettant de s’échanger des messages de manière rapide et simple, sous forme d’articles ne comprenant que du texte. Et usenet, ou news groups, décrit basiquement l’ensemble des machines reliées les unes aux autres permettant de poster ces fameux articles dans des groupes (chacun ayant une thématique différente).
Ce système, dans son utilisation, a évolué avec son temps et est devenu un canal d’échange de fichiers en tous genres.
Afin de pouvoir poster non plus seulement des fichiers textes mais aussi des binaires (permettant d’y adjoindre du contenu), le groupe alt. a été créé quelques années plus tard. C’est d’ailleurs sous cette forme qu’il est le plus connu de nos jours notamment dans l’univers du partage de fichiers “piratés”. Et c’est pourquoi vous voyez des références à alt.binaries.dvd ou alt.binaries.mp3, par exemple, qui sont des groupes propices à l’échange de fichiers dont vous comprenez aisément la nature.
A ce jour il semble que la totalité des groupes alt. représente un contenu de 27.48PBytes (soit 27480 Teras). Évidemment comme tout est stocké sur des serveurs, la place, bien qu’énorme, n’est pas extensible à l’infini et c’est pourquoi des posts sont régulièrement effacés. La durée de vie moyenne recensée, pour du contenu “piraté”, est de 1000 jours. C’est la fameuse rétention visible sur les listes de groupes et chez les FAU quand vous souscrivez à une offre d’accès. Parce que oui, il faut un accès, souvent payant. Nous le verrons par la suite.
On ne peut pas dire que le contenu est hébergé aux USA ou ailleurs . C’est un ensemble de serveurs qui compose usenet. Ils se connectent entre eux, c’est le feed in/out (la propagation), et comparent leurs listes afin de se mettre mutuellement à jour, si possible. Vous pouvez voir différentes rétentions chez les prestataires, dépendant principalement du contenu qu’ils hébergent eux-mêmes puis de leurs accords commerciaux pour aller le chercher chez un autre hébergeur, de manière transparente pour vous, mais avec un coût certain pour eux.
C’est légal ?
L’utilisation de usenet, comme des logiciels de P2P ou un couteau voire un briquet est légale. En revanche la manière dont vous l’utilisez peut contrevenir à certaines lois : tuer quelqu’un, allumer un feu de forêt, partager ou récupérer des fichiers “piratés” est en effet illégal dans la plupart des pays, surtout pour les deux premiers. Pour le dernier point cela dépend des lois en vigueur chez chacun.
Si, en France, le téléchargement illégal est “suivi” par la HADOPI, usenet est lui concerné par le DMCA (comme le P2P US). J’y reviens plus loin et dans la partie Fournisseur d’Accès à Usenet (FAU).
Comment ça marche ?
Le fonctionnement de usenet n’a que très peu évolué d’un point de vue technique et c’est la raison pour laquelle une vidéo par exemple y est postée sous forme d’un ensemble de fichiers archivés (compressés) et non un seul. Cette décomposition en plusieurs .rar (archives) est à double-tranchant.
Si l’une des archives.rar est corrompue on peut tenter de la télécharger de nouveau ou de la réparer avec les éventuels fichiers .par joints. Il arrive cependant que l’archive ne soit pas récupérable. Le très mauvais côté de ce système (point de vue relatif selon qui me lit) est qu’il suffit ainsi d’effacer un .rar et l’ensemble du fichier est irrécupérable (voir DMCA plus bas).
Concrètement
- Le posteur comme celui qui veut récupérer (l’utilisateur) des articles doivent passer par un FAU,
- Le posteur se sert d’un logiciel pour poster des binaires sur un groupe donné (des .rar avec ou sans .par),
- L’utilisateur parcourt les groupes à la main ou via des moteurs de recherche ou des indexeurs (qui référencent les contenus) ou un grabber (logiciel qui permet de parcourir, rechercher, télécharger, extraire/réparer),
- Il récupère enfin son fichier sous forme de .nzb via le grabber, ce qui a pour effet de récupérer les .rar (et .par). Puis il extrait voire répare les .rar et obtient finalement le fichier initial.
C’est simple. En théorie, en pratique moins. Et c’est ce que je vous explique dans la suite de cet article.
Quel en est l’intérêt par rapport au P2P ?
Qui dit “usenet” dit “télécharger du contenu hébergé sur des serveurs”. Si votre FAU propose une rétention de 1000 jours vous avez alors toutes les chances de récupérer des fichiers vieux de plusieurs années. L’autre point fort est que vous pouvez télécharger à la vitesse maximale de votre connexion Internet selon l’offre d’accès souscrite (1Mbs, 10/50/100/500Mbs… illimité).
Contrairement au P2P via BitTorrent, vous ne dépendez donc pas des autres utilisateurs (sources, vitesse) ni eux de vous (ratio, seedtime).
Toujours selon votre accès, vous pouvez utiliser SSL. Chiffrement empêchant votre Fournisseur d’Accès à Internet de visualiser le contenu de votre trafic. On voit que vous téléchargez xGo mais on ne sait pas ce que c’est. Bien qu’on puisse aisément se douter que plusieurs Go voire To de DL mensuels pour un particulier indiquent une activité intense plutôt inhabituelle en dehors du piratage. Mais c’est un autre débat.
Il n’est donc pas possible de savoir ce que vous récupérez à moins d’avoir accès aux logs de votre FAU, c’est ainsi plus anonyme que d’autres types d’échanges. Sachant qu’en France, au moins et de ce que je connais, seules les dates, heures et quantités (merci de me rectifier si besoin) sont conservées. En revanche le fait de poster implique légalement des logs plus complets, dont le groupe.
Vous pouvez de ce fait vous passer des VPN et seedboxes de plus en plus recommandés sur d’autres canaux de partage de fichiers.
C’est quoi le DMCA ?
C’est la HADOPI made in USA. Plus puissante et compétente semble-t-il, tout du moins “efficace”.
Concernant usenet leur action se limite à envoyer des demandes de retrait des articles jugés “illégaux”. C’est pourquoi il arrive très fréquemment que des .rar manquent pour reconstituer un fichier posté à peine quelques heures avant. En France par exemple, pour que la demande soit légale elle doit passer par un courrier avec AR, aux US (notamment) un simple email nominatif suffit. Ce qui explique que les articles facilement identifiables (genre film.année.codec.son.team) soient très rapidement repérés et altérés.
La majorité des FAU étant des revendeurs soit d’un américain soit d’un hollandais, une DMCA chez le FAU “source” se répercute de suite chez tout le monde. Qu’ils soient en marque blanche ou non. D’où l’intérêt de bien choisir, à tout le moins tester, son FAU avant de s’engager sur la durée.
Afin de tenter de contourner la censure nombre de posteurs envoient des articles avec des noms codés. Soit de manière aléatoire soit comprenant le code Allocine/IMDB du film soit le nom de leur forum/IRC/site web. Si l’efficacité de cette technique pour restreindre l’impact de la censure n’est pas garantie à 100% elle a revanche la faculté d’obliger à passer par les sites de ces posteurs ou des référenceurs sinon il est impossible d’en deviner le contenu final.
C’est quoi un FAU ?
Sur le même principe que les Fournisseurs d’Accès à Internet, les Fournisseurs d’Accès à Usenet vous permettent de vous connecter à ces serveurs de news.
Ils ne sont pas 50 FAU “source”, la plupart étant des revendeurs comme vous pouvez le constater ici ou là (providers VS resellers).
Vous pouvez bien évidemment souscrire à n’importe quelle offre dans n’importe quel pays, le contenu à l’autre bout sera le même. Cependant, outre les éventuels soucis de DMCA (info sur le lien donné plus haut ou sur les forums dédiés à usenet), choisissez un forfait qui correspond à vos besoins en termes de débit et de trafic. Quant au nombre de connexions, c’est le nombre de DL simultanés. Plus rapide du coup pour récupérer tous les .rar, même principe que le téléchargement classique depuis un site FTP/HTTP. Et ça permet aussi de partager un abonnement à plusieurs, si c’est autorisé par le FAU et qu’il ne filtre pas les IP.
Vous pouvez voir des rétentions différentes selon les opérateurs. Ceci vient du fait que le feed entre FAU a un coût, la bande passante n’étant pas gratuite, et qu’ils doivent le supporter pour toutes vos requêtes vers des contenus qu’ils n’hébergent pas en propre. Selon les FAU et leurs capacités d’investissements, tous ne peuvent se permettre de proposer des accès au contenu âgé de plus de 1000 jours. Ce qui reste déjà bien mieux que la plupart des rétentions qu’on trouve dans le P2P.
A noter que l’opérateur Free offre un accès à usenet dans ses forfait Internet, mais il filtre -censure- les groupes les plus “intéressants”.
Et où on trouve les fichiers ? (exemples, listes de sites/logiciels non exhaustives)
Il y a différents canaux/outils, qui sont plus ou moins efficaces et complémentaires. C’est généralement cette étape qui rebute le plus les néophytes. Mais pour vous aider à vous lancer je vous concocte une série d’articles/tutoriels détaillés avec des exemples concrets et qui seront postés dans la semaine. Ça devrait démystifier une bonne partie du bouzin :)
Vous pouvez déjà commencer par parcourir les groupes alt.binaries.ce_que_vous_voulez. Bien que nombre d’articles aient des noms codés vous pouvez tout de même vous faire une idée de ce qui est à disposition. Ces sites permettent aussi de faire des recherches, là je vous mets les liens pour parcourir les groupes directement.
Pour vous aider à vous y retrouver vous pouvez préférer les indexeurs (ou référenceurs). Ce sont des sites/forums, la plupart du temps privés voire payants, qui recensent automatiquement ou via leurs membres différents contenus selon leur spécialisation, langue etc. Et ils mettent également à disposition des clés API permettant de les utiliser via des logiciels tiers tels que ceux qui automatisent la recherche et le DL. D’autres référencent des posts avec mots de passe et forcent ainsi leur “pub”.
Ceux sur abonnement ayant souvent, heureusement, un listing et une interface plus qualitatifs ainsi que des options/services en tous genres.
- BinnewZ, (sans inscription) indexeur francophone, je ferai un tutoriel complet sur son utilisation facilitée via un script additionnel
- DogNZB (inscription gratuite, abonnement ensuite) avec API pour les logiciels d’automatisation
screen
[collapse]
- Usenet4all (forum privé) allemand, contenu GER, EN, un peu de FR / screen
screen
[collapse]
-
Dutplanet (inscription gratuite)
- NZBid (inscription gratuite)
- OznzB (inscription gratuite, abonnement ensuite) recommandé pour les logiciels d’automatisation
- Usenet-Crawler (inscription gratuite, abonnement pour l’API) recommandé pour les logiciels d’automatisation, moche mais efficace
screen
[collapse]
- usenethub (sans inscription) gros moteur de recherche plus qu’un indexeur mais il est original
- NZBgeek (inscription gratuite, abonnement ensuite) recommandé pour les logiciels d’automatisation
screen
[collapse]
-
nzbPorn (inscription gratuite) nom suffisamment éloquent
Vous avez également nombre de forums, sites “perso”, IRC et tchats où les membres se partagent directement des .nzb. Vous n’en trouverez pas de liste, ce sont en général des communautés discrètes plutôt réservées aux initiés et qui se font connaître par le bouche à oreilles.
Et comment je les télécharge ?
Via un grabber, un logiciel prévu pour parcourir et lire les news.
Fut une époque il fallait un logiciel pour récupérer les articles, un autre pour extraire les rar et les réparer, voire encore un autre suivants les époques. De nos jours les clients ont évolués avec l’usage de usenet et la plupart font tout, depuis la recherche jusqu’à l’extraction voire le renommage.
Voici quelques exemples de grabbers gratuits
- Grabbit – Windows, je n’ai pas testé
- NZBget – Windows, Linux, Mac – très complet, sans doute trop pour un néophyte
- SABnzbd+ – Windows, Linux, Mac – très complet aussi, plus simple à appréhender que NZBget. Un tutoriel sera fait par la suite, c’est pas le plus beau mais c’est un vrai couteau-suisse !
Les deux derniers sont pris en charge par les logiciels tiers d’automatisation.
Vous ouvrez votre logiciel, chargez un .nzb récupéré et attendez que ça se télécharge, décompresse/répare. Plus simple y’a pas, à part lancer Netflix. Et encore, le contenu et la qualité ne seront pas forcément au rendez-vous.
Y’a des RSS ?
Oui les grabbers récents gèrent les RSS des référenceurs de contenus. Mais il y a encore plus simple via l’automatisation.
Et c’est quoi alors cette fameuse “automatisation” ?!
C’est la cerise sur le gâteau ou la solution ultime du flemmard assumé. Au choix.
Comme pour le BitTorrent, vous avez 2 logiciels très connus que sont SickRage (un fork plus abouti de SickBeard) qui “s’occupe” des séries et CouchPotato qui lui se cantonne aux films. Existent également HeadPhones pour la musique, Mylar pour les comics, Bookworm pour les ebooks ou encore Sonarr qui fait dans les vidéos et GamezServer pour les jeux vidéo.
Des tutoriels seront publiés pour SickRage & CouchPotato aussi je ne m’étends pas trop sur le sujet, voici dans les grandes lignes :
- Vous le configurez en lui indiquant votre grabber, la langue et la qualité du contenu recherché, les sous-titres éventuels, les sources (d’où l’intérêt des clés API des référenceurs cités plus haut), où il doit stocker et s’il doit renommer,
- Il cherche, télécharge, répare, re-télécharge si nécessaire,
- Il renomme/déplace et peut même envoyer des notifications sur Plex, Kodi, smartphone, email…
Et concernant la vidéo vous pouvez lier votre compte Trakt.tv et il prendra en charge votre WatchList, voire même “rechercher” un film depuis une page AlloCiné/IMDB.
Et niveau contenu FRENCH ?
En France ce type de téléchargement n’est pas autorisé. Cependant je vois autant de films que via P2P, plutôt des rlz Scene et FullBD, mais c’est en revanche plus compliqué (ou discret) pour les séries. Toutefois il se dit que ces dernières sont plutôt regardées en VOSTFR, ce qui pour le coup ne pose aucun problème vu la VO présente. Quant aux jeux, logiciels, musique etc, tout se trouve.
Et c’est payant ?
Oui. La plupart des FAU sont payants, certains en trouvent des gratuits mais ça me semble assez fastidieux. Vous trouverez plus d’informations sur les forums de BZ. Pour les prix comptez aux environs de 8-10€/mois pour un accès illimité. Moins cher que les seedboxes et VPN employés par certains pour le BitTorrent donc.
Donc Usenet : l’Eldorado des pirates ?
Oui et non. C’est surtout un complément aux autres canaux de “distribution” du warez sur Internet. Usenet sera exclusif pour ceux qui savent l’utiliser déjà mais surtout pour les amateurs de discrétion quant à leurs téléchargements illégaux et qui consomment majoritairement du contenu VO/VOSTFR. Car oui, tout ceci n’est qu’une information, le téléchargement d’œuvres sous droit d’auteur n’étant en France pas légal sans autorisation/rémunération.