Importer des flux RSS de manière personnalisée

Information importante

En raison d'un grand nombre d'inscriptions de spammers sur notre site, polluant sans relache notre forum, nous suspendons la création de compte via le formulaire de "sign up".

Il est néanmoins toujours possible de devenir adhérent•e en faisant la demande sur cette page, rubrique "Inscription" : https://www.drupal.fr/contact


De plus, le forum est désormais "interdit en écriture". Il n'est plus autorisé d'y écrire un sujet/billet/commentaire.

Pour contacter la communauté, merci de rejoindre le slack "drupalfrance".

Si vous voulez contacter le bureau de l'association, utilisez le formulaire disponible ici, ou envoyez-nous un DM sur twitter.

Submitted by nimporte51 on

Bonjour,
Je me sers pour l'instant de Feeds pour importer des flux RSS. Le problème, c'est que je dois importer des RSS assez spéciaux avec des champs spéciaux, comme des mots clés et le nom de l'auteur. Comment peut-on faire pour choisir comment sera importé le flux RSS (pour mettre par exemple comme auteur de l'article créé par le RSS l'auteur marqué dans le flux RSS) ?

Forum : 
Support général
Version de Drupal : 
6.x
Tags : 
RSS personnaliser

Soumis par Wooha le 7 Septembre, 2011 - 15:06

Bonjour,

Je suis très intéressé par une solution ou des pistes sur cette problématique ! En effet j'en suis également là ... j'essaye, je réessayre, je triture, ... A L'AIDE :)

Soumis par Numerizen le 7 Septembre, 2011 - 16:43

Feeds permet d'utiliser beaucoup de parsers différents : XML, XPATH, etc. Personnellement j'ai beaucoup utilisé XPATH parce que j'importe surtout du XML, mais je pense qu'on peut tout à fait mapper des éléments d'un flux entrant vers des fields.

Vous utilisez quoi comme parser pour le moment ?

Soumis par Wooha le 7 Septembre, 2011 - 17:54

Et bien maintenant, après nombre d'essais infructueux, j'arrive enfin sans soucis à assigner ma taxonomie à un flux RSS. Là RAS, mais à la main (comprendre via l'ajout de contenu, flux par flux donc)

Mon pb désormais est de pouvoir rendre la chose plus efficace par des intégrations en volume et préparer tout celà en amont. L'idée serait ainsi d'importer via un conteneur (CSV ?) une liste des données à intégrer (flux RSS + taxonomie associée).

Exemple (version minimaliste):

Titre;MaTaxonomie;URL
Source1;Type1;feed://...
Source2,Type2;feed://...
Source3,Type1;feed://...

Je n'ai pas de religion sur Feeds, si il faut passer par un autre module, je prends aussi :)

Soumis par Numerizen le 7 Septembre, 2011 - 18:08

Je ne suis pas non plus orthodoxe, mais le moins qu'on puisse dire est qu'un concurrent à Feeds dans ce domaine serait un sacré scoop.

Importer du CSV avec Feeds, c'est l'enfance de l'art. Mais si vous avez la main sur le type de fichiers exportés (ou créés), XML est quand même bien plus efficace et structuré.

Difficile d'aller plus loin ; après c'est une question de problématique précise et de structuration des données et des flux pour votre cas à vous, qui me semble dépasser le cadre de ce forum.

Soumis par Wooha le 7 Septembre, 2011 - 18:36

Effectivement, demander l'import d'un fichier ne pose pas de soucis.

Mes efforts portent plutôt sur l'enchevêtrement feed, feed item, url ... lors de mes essais, soit l'import me génère juste un noeud soit ... rien, ou plutot deux erreurs.

Nouveau dans la communauté de drupal, auriez-vous un autre endroit peut-être plus pertinent ou faire partager mes problématiques ? Car en cherchant un peu partout je ne trouve que des bribes de réponses et plus souvent pour drupal 6 alors que j'utilise la 7. Sans avoir une solution clef en main, il me manque d'évidence quelques clefs sur le fonctionnement de feeds pour m'en sortir.

Soumis par Numerizen le 7 Septembre, 2011 - 19:04

Si vous lisez l'anglais, la source idéale est bien sur la page du projet : http://drupal.org/project/feeds et sa page de documentation http://drupal.org/node/622696

La plupart des informations sur la version 6 doivent valoir pour la 7, excepté le code.

Je conseillerais ensuite de mettre en place un site de test et de jouer avec les options, les différents modules (entre autre les parsers) et de bien comprendre comment les choses se passent. On trouve une liste des modules pour Feeds ici http://drupal.org/node/856644. Beaucoup manquent encore pour D7, mais on peut se débrouiller.

Une bonne compréhension du langage de requête est extrêmement précieuse. J'utilise beaucoup Xpath, par goût personnel et parce qu'il convient aux use cases que j'ai rencontrés jusqu'à présent.

Soumis par Wooha le 9 Septembre, 2011 - 11:15

Merci de vos retours.
Ces pages et la maquette font parties de ma boite à outil. Mais à force de recherche et recoupement, il semble tout simplement que le lien CSV --> RSS --> feed item n'existe pas. Il me reste deux solutions: intégrer les flux avec leur taxonomie à la main, ciseler un module appelant Feeds.

Soumis par Wooha le 9 Septembre, 2011 - 14:12

Et bien, je vois la chose ainsi du point de vue de mon besoin, au risque de me tromper ... :
- Flux RSS = Feed
- RSS item = Field item

Si bien qu'en sélectionnant "Common syndication parser", le mapping présente parmis les sources "Item URL (link)". Ainsi chaque item contenu dans le flux "feed://..." sera répliqué dans un "feed item".

Alors qu'en sélectionnant "CSV parser" nous n'avons plus cet "Item URL (link)" mais seulement "url". Càd l'url obtenue dans le CSV, l'adresse du flux de type "feed://...", et non son contenu.

Soumis par Laprud le 9 Mars, 2012 - 13:04

salut
je souhaite aussi importer des flux RSS à convertir en article.
j'ai installé les modules nécessaires :
feeds,
job_scheduler
feeds mediaRSS

j'ai activé feeds et Feeds Import et job_scheduler, mais quand j'enregistre, drupal stoppe sur une page blanche... le site n'est plus accessible.
je suis obligé de mettre une sauvegarde de la base de donnée !

comment faire pour que ce module fonctionne ?
où quel module dois je installer ?

Soumis par Wooha le 9 Mars, 2012 - 13:48

Je n'ai jamais essayé feeds mediaRSS mais de prime abord, tu as installé les modules nécessaires.
Le pb de page blanche est du à une erreur php. Regarde la dernière ligne du log php (souvent nommé php_error.log) pour voir l'origine du pb (nom du fichier et n° de ligne). Il arrive que ce soit simplement du au fait que le développer ait oublié un simple point virgule en fin de ligne.
Bon courrage.

Soumis par Laprud le 9 Mars, 2012 - 14:26

c'est bon
j'ai tout de même eu la page blanche après la validation des modules. je suis revenu à la racine du site sans problème.
la différence avec mon premier essai et l'ajout de la librairie simplepie.inc

pour la suite, comment fait on pour importer un fichier RSS ?

Soumis par Wooha le 9 Mars, 2012 - 14:33

Sur la page du module il est notamment proposé d'aller voir derrière ce lien --> http://developmentseed.org/blog/2009/dec/15/importing-and-aggregating-st...

Tu y trouveras principalement un screencast qui répondra à ta question d'un point de vue pratique. La démonstration repose sur une version plus ancienne de Drupal mais elle reste valable. En tout cas c'est avec ça que j'ai pu démarrer.

Soumis par Laprud le 9 Mars, 2012 - 14:54

ok je vais regarder ça
juste une chose, il y a le module aggregator qui permet aussi d'importer des flux rss, as tu essayé ?
(de mon côté j'ai un problème avec la page de configuration , en fait je n'ai rien, ça doit se trouver dans services web-> aggregateur de flux,
sur un autre drupal installé , je l'ai, je pense que celui sur lequel je taf, a du avoir un problème ! d'où les page blanche !