Récupérer des recettes sur un site

Qui est en ligne ?

Il y a : 8 utilisateurs en ligne, consultez le détail


Forum » Serveur, Réseaux et Programmation » Récupérer des recettes sur un site	Forum modéré par : jblecanard
\| Même auteur
Score ( voter ) :

Auteur	Message
ewen	#0 Message posté le : 19-08-2007 à 19:23:11
Scarabée Forum : Inscrit Association : Arrivé(e) le : 24-08-2006 Nombre de messages : 454	Bonjour à tous. J'espère ne pas poser une question qui serait la malvenue Si c'était le cas, merci à jblecanard de supprimer mon post ! L'excellente émission télé de cuisine "Bon appétit bien sûr" étant sur le point de s'arrêter, la lecture du forum du site semble indiquer que l'ensemble des recettes de cuisines qui sont actuellement dispos sur le site de l'émission est susceptible de disparaitre purement et simplement. J'aimerais savoir s'il était légalement possible de les récupérer (autrement qu'en copiant/collant leur contenu, ce qui serait plutôt assez fastidieux ) avant qu'elles ne disparaissent et, si oui, comment ? Merci d'avance pour mon estomac ! Ewen --Message édité par ewen le 19-08-2007 à 19:24:01-- ------------------------------------- Sacerdotes... tui... Domine... induant... just... just... Merde de Merde... ! J'y arriverais jamais avec ce bordel d'Introït ! L'abbé Dubois (Jean Rochefort) / "Que la fête commence"

Azollyx	#1 Message posté le : 19-08-2007 à 20:06:25
Naboo Forum : Modérateur Association : Président Arrivé(e) le : 09-04-2006 Nombre de messages : 2085	Pour le côté légal, je ne sais pas. C'est à toi de te renseigner (envoie leur un courriel par exemple --- tu peux peut-être même leur demander de t'envoyer une archive du tout). Pour les récuperer, il y a bien une méthode : tu peux enregistrer chaque page dans un fichier. Firefox te permet de le faire : fichier>enregistrer (ou ^S). Après, tu peux faire la même chose en ligne de commande : `wget <url>`. Tu peux ensuite faire une boucle : for id in 1453 1497 693; do wget "http://bonappetitbiensur.france3.fr/recettes.php3?id_article=$id"; done . Mais cela ne téléchargera (à l'inverse de la première méthode) que la page web : aucune image ni vidéo (mais avec un peu de temps, ça serait possible). Pour avoir tous les ids, tu peux sois parcourir l'index manuellement (comme je l'ai fait) ou automatiquement soit être un peu plus barbare : il s'agit d'un nombre positif probablement inférieur à 370000 : for ((id=0; $id<37000; id++)); do wget "http://bonappetitbiensur.france3.fr/recettes.php3?id_article=$id"; done Si tu veux aussi les index, tu peux appliquer la même méthode... Il te faudrat ensuite réorganiser tes fichiers. Si le wget ne te suffit pas, tu dois pouvoir essayer de faire quelque chose avec firefox (enregistrer automatiquement depuis du JavaScript mais là, je n'ai pas assez d'infos sous la main là tout de suite ). ------------------------------------- toto

ewen	#2 Message posté le : 19-08-2007 à 20:41:33
Scarabée Forum : Inscrit Association : Arrivé(e) le : 24-08-2006 Nombre de messages : 454	Azollyx a écrit : Pour le côté légal, je ne sais pas. C'est à toi de te renseigner (envoie leur un courriel par exemple --- tu peux peut-être même leur demander de t'envoyer une archive du tout). Pas bête l'idée de demander une archive du tout ! Pour le mail, je leur avais posé la question, mais j'attends tjs la réponse... Azollyx a écrit : Mais cela ne téléchargera (à l'inverse de la première méthode) que la page web : aucune image ni vidéo (mais avec un peu de temps, ça serait possible). De toute façon, les vidéos sont payantes, alors je ne vais pas les récupérer. En tous cas, merci pour la réponse Ewen ------------------------------------- Sacerdotes... tui... Domine... induant... just... just... Merde de Merde... ! J'y arriverais jamais avec ce bordel d'Introït ! L'abbé Dubois (Jean Rochefort) / "Que la fête commence"

stanislas	#3 Message posté le : 20-08-2007 à 11:26:23
Jedi Forum : Administrateur Association : Membre fondateur Arrivé(e) le : 08-05-2003 Nombre de messages : 4349	Ou, plus brutal, tu utilises wget pour lui faire télécharger en bloc le sous-site de l'émission, en lui faisant convertir les liens internes pour qu'ils soient utilisables localement sur ton ordi ; `man wget` te renseignera sur les nombreuses possibilités de cet outil ! Cela dit, renseigne-toi d'abord pour savoir si tu en as le droit ; je pense que si les recettes étaient téléchargeables, tu devrais pouvoir le faire, au moins en ce qui les concerne. ------------------------------------- Quand le dernier arbre aura été abattu, et le dernier animal exterminé, les hommes se rendront compte que l'argent ne se mange pas.

jblecanard	#4 Message posté le : 20-08-2007 à 15:13:21
Jedi Forum : Modérateur Association : Membre fondateur Arrivé(e) le : 08-01-2005 Nombre de messages : 4030	L'idée de leur envoyer un mail est bonne mais il y a peu de chances qu'ils répondent, le type ou la petite dame lisant les emails n'ayant peut être pas les connaissances légales nécessaires. Ce qui est sûr, et ce doit être mentionné quelque part sur le site, comme ça l'est sur trustonme en bas de chaque page, c'est que le contenu que l'émission publie leur appartient. Tu peux parfaitement copier les recettes que tu veux pour toi sur ton pc, au même titre que tu as le droit d'enregistrer sur une cassette ou un dvd une émission qui passe à la télé. Tu ne lèse pas l'auteur de cette façon. En revanche, tu devras obtenir une autorisation si tu veux distribuer ou rendre publiques les copies en question... ------------------------------------- C'est une situation bien inconfortable que d'être assez sensible à la bêtise pour en souffrir et trop intelligent pour s'en indigner. - Gustave Thibon -

ewen	#5 Message posté le : 20-08-2007 à 20:40:57
Scarabée Forum : Inscrit Association : Arrivé(e) le : 24-08-2006 Nombre de messages : 454	stanislas a écrit : Cela dit, renseigne-toi d'abord pour savoir si tu en as le droit ; je pense que si les recettes étaient téléchargeables, tu devrais pouvoir le faire, au moins en ce qui les concerne. Je ne sais pas si elles sont téléchargeables, mais, en tout cas, on peut les copier : exemple, il suffit de faire un copier-coller. Alors, j'imagine que, dans l'absolu, on a le droit de les récupérer, non ? ------------------------------------- Sacerdotes... tui... Domine... induant... just... just... Merde de Merde... ! J'y arriverais jamais avec ce bordel d'Introït ! L'abbé Dubois (Jean Rochefort) / "Que la fête commence"

ewen	#6 Message posté le : 20-08-2007 à 20:43:16
Scarabée Forum : Inscrit Association : Arrivé(e) le : 24-08-2006 Nombre de messages : 454	jblecanard a écrit : L'idée de leur envoyer un mail est bonne mais il y a peu de chances qu'ils répondent, le type ou la petite dame lisant les emails n'ayant peut être pas les connaissances légales nécessaires. Oui, c'est ce que je pense aussi ! jblecanard a écrit : Ce qui est sûr, et ce doit être mentionné quelque part sur le site, comme ça l'est sur trustonme en bas de chaque page, c'est que le contenu que l'émission publie leur appartient. Tu peux parfaitement copier les recettes que tu veux pour toi sur ton pc, au même titre que tu as le droit d'enregistrer sur une cassette ou un dvd une émission qui passe à la télé. Tu ne lèse pas l'auteur de cette façon. En revanche, tu devras obtenir une autorisation si tu veux distribuer ou rendre publiques les copies en question... En aucun cas, ce ne serait pour les rendre publiques à quiconque d'autre que mes papilles, mon estomac et ma gourmandise ------------------------------------- Sacerdotes... tui... Domine... induant... just... just... Merde de Merde... ! J'y arriverais jamais avec ce bordel d'Introït ! L'abbé Dubois (Jean Rochefort) / "Que la fête commence"

jblecanard	#7 Message posté le : 20-08-2007 à 20:48:12
Jedi Forum : Modérateur Association : Membre fondateur Arrivé(e) le : 08-01-2005 Nombre de messages : 4030	Bah comme je le disais au dessus, rien ne t'empêche de les copier-coller pour toi. Le bouton "imprimer cette recette" en témoigne. Le problème légal intervient quand tu redistribue ou publie la recette. Tant que ça reste pour ta pomme, si je puis me permettre l'expression, il n'y a pas de soucis... ------------------------------------- C'est une situation bien inconfortable que d'être assez sensible à la bêtise pour en souffrir et trop intelligent pour s'en indigner. - Gustave Thibon -

ewen	#8 Message posté le : 20-08-2007 à 21:17:30
Scarabée Forum : Inscrit Association : Arrivé(e) le : 24-08-2006 Nombre de messages : 454	jblecanard a écrit : Tant que ça reste pour ta pomme, si je puis me permettre l'expression, il n'y a pas de soucis... Ma pomme... d'Adam ? Ewen --Message édité par ewen le 20-08-2007 à 21:18:04-- ------------------------------------- Sacerdotes... tui... Domine... induant... just... just... Merde de Merde... ! J'y arriverais jamais avec ce bordel d'Introït ! L'abbé Dubois (Jean Rochefort) / "Que la fête commence"

ewen	#9 Message posté le : 21-08-2007 à 08:58:44
Scarabée Forum : Inscrit Association : Arrivé(e) le : 24-08-2006 Nombre de messages : 454	stanislas a écrit : Ou, plus brutal, tu utilises wget pour lui faire télécharger en bloc le sous-site de l'émission, en lui faisant convertir les liens internes pour qu'ils soient utilisables localement sur ton ordi ; `man wget` te renseignera sur les nombreuses possibilités de cet outil ! J'ai regardé, j'ai essayé et j'ai raté Mais je n'ai sans doute pas assez bien lu, j'ai simplement fait ça : wget --convert-links -r http://bonappetitbiensur.france3.fr/recherche_recettes.php3?mode=alphabet&categorie=entree , ce qui m'a permis d'avoir toutes les recettes, ce qui était quand même le but premier. Mais, si j'ouvre une page récapitulant l'ensemble d'une catégorie de recette et que je clique sur un titre de recette, ça m'ouvre une page d'erreur et pas la page de la recette. J'ai dû rater quelque chose dans la conversion des liens Quelqu'un aurait-il une idée ? Merci d'avance ! Ewen ------------------------------------- Sacerdotes... tui... Domine... induant... just... just... Merde de Merde... ! J'y arriverais jamais avec ce bordel d'Introït ! L'abbé Dubois (Jean Rochefort) / "Que la fête commence"

stanislas	#10 Message posté le : 21-08-2007 à 12:17:34
Jedi Forum : Administrateur Association : Membre fondateur Arrivé(e) le : 08-05-2003 Nombre de messages : 4349	Je crains surtout que wget ne marche pas bien quand, comme c'est le cas ici, la page semble être regénérée à chaque fois avec du PHP ... ------------------------------------- Quand le dernier arbre aura été abattu, et le dernier animal exterminé, les hommes se rendront compte que l'argent ne se mange pas.

ewen	#11 Message posté le : 21-08-2007 à 12:30:24
Scarabée Forum : Inscrit Association : Arrivé(e) le : 24-08-2006 Nombre de messages : 454	stanislas a écrit : Je crains surtout que wget ne marche pas bien quand, comme c'est le cas ici, la page semble être regénérée à chaque fois avec du PHP ... C'est l'idée que j'avais eu aussi En détail, j'ai, par exemple, un fichier recherche_recettes.php3?mode=alphabet&lettre=g qui renvoit donc à l'ensemble des recettes qui commencent par g ; quand j'ouvre ce fichier avec FF et que je clique sur une des recettes (dont le lien corrigé est file:///home/grosmoi/bonappetitbiensur.france3.fr/recettes.php3?id_article=1281), j'ai la page d'erreur de FF qui me dit que Firefox ne peut trouver le fichier à l'adresse /home/grosmoi/bonappetitbiensur.france3.fr/recettes.php3?id_article=1281. , pourtant, le fichier est bien présent, au bon endroit. Pas cool quand même Ewen ------------------------------------- Sacerdotes... tui... Domine... induant... just... just... Merde de Merde... ! J'y arriverais jamais avec ce bordel d'Introït ! L'abbé Dubois (Jean Rochefort) / "Que la fête commence"

stanislas	#12 Message posté le : 21-08-2007 à 12:39:09
Jedi Forum : Administrateur Association : Membre fondateur Arrivé(e) le : 08-05-2003 Nombre de messages : 4349	Si le fichier est là, tu ne peux pas le « détacher » et l'ouvrir ensuite ? ------------------------------------- Quand le dernier arbre aura été abattu, et le dernier animal exterminé, les hommes se rendront compte que l'argent ne se mange pas.

ewen	#13 Message posté le : 21-08-2007 à 13:10:27
Scarabée Forum : Inscrit Association : Arrivé(e) le : 24-08-2006 Nombre de messages : 454	stanislas a écrit : Si le fichier est là, tu ne peux pas le « détacher » et l'ouvrir ensuite ? Qu'est-ce que tu appelles le détacher ? Je peux ouvrir le fichier, pas de pb ; c'est le lien entre le menu et le fichier qui ne marche pas. Dans la mesure où j'ai pu récupérer toutes les recettes, ce n'est pas franchement grave, c'est juste pénible parce que, du coup, les 2275 recettes sont identifiables par leur numéro, ce qui n'est pas très facile pour les retrouver Ewen ------------------------------------- Sacerdotes... tui... Domine... induant... just... just... Merde de Merde... ! J'y arriverais jamais avec ce bordel d'Introït ! L'abbé Dubois (Jean Rochefort) / "Que la fête commence"

jblecanard	#14 Message posté le : 21-08-2007 à 13:17:17
Jedi Forum : Modérateur Association : Membre fondateur Arrivé(e) le : 08-01-2005 Nombre de messages : 4030	En fait, le numéro sur le site doit générer la page à chaque fois, tu as donc autant de fichiers que de recettes. Or l'url que tu appelle est toujours un seul et unique fichier auquel tu passe un argument ! Pour que ça fonctionne, il faudrait que tu modifie légèrement à la main le petit moteur de recherche pour qu'il génère la bonne url vers le fichier... ------------------------------------- C'est une situation bien inconfortable que d'être assez sensible à la bêtise pour en souffrir et trop intelligent pour s'en indigner. - Gustave Thibon -

Azollyx	#15 Message posté le : 21-08-2007 à 14:37:58
Naboo Forum : Modérateur Association : Président Arrivé(e) le : 09-04-2006 Nombre de messages : 2085	ewen a écrit : (dont le lien corrigé est file:///home/grosmoi/bonappetitbiensur.france3.fr/recettes.php3?id_article=1281), j'ai la page d'erreur de FF qui me dit que Firefox ne peut trouver le fichier à l'adresse /home/grosmoi/bonappetitbiensur.france3.fr/recettes.php3?id_article=1281. , pourtant, le fichier est bien présent, au bon endroit. Est-ce que si tu ouvres ce fichier, tout est bien ? Si oui, je pense que c'est le '?' qui pose problème : en cherchant ...toto.php?..., Firefox va en fait chercher le fichier `toto.php` (en s'arrêtant au point d'interrogation). Il faudrait le remplacer par %3F dans l'adresse (le `href`) des liens. Essaye déjà de le faire manuellement sur une page. Je regarde si ça peut s'automatiser simplement. ------------------------------------- toto