 |
|
 PhpDig.net |
What is PhpDig?
PhpDig is a PHP MySQL based Web Spider & Search Engine. |
Download problems? Turn off any download manager/accelerator and then download.
Note that only PhpDig versions v.1.8.8 and v.1.8.9 RC1 are available for download.
Dernière version expérimental (Requirements)
2005-01-30 : Mise à jour mineure :Dernière version stable (Requirements)
Multiple and multibyte support available (thanks to Mikolaj Jedrzejak for the ConvertCharset class).
Searching and highlighting content stored in a table works similar to the way it works for files.
The amount of content stored from each indexed page can be specified.
Indexing can be performed within entire subdirectory (thanks to td234).
The title displayed in search results can be limited to a certain length.
Renamed file and other miscellaneous edits/corrections.
phpdig-1.8.8-rc1.zip 563.38 ko (direct link)
2005-01-16 : Mise à jour mineure :Licence
Added ability to view previous search queries with links to search page.
Chunk encoding improvement in phpdigGetUrl function (thanks to attriel).
Improved indexing of links with special characters (thanks to zaartix).
Added ability to turn off click logging (thanks to vinyl-junkie).
Included some custom code to make own RSS and search templates.
Renamed some files and other miscellaneous edits/corrections.
Ce programme est placé sous les termes de la licence GNU/GPL, ni plus, ni moins.Contenu de l'archive de la Dernière version stable
Voyez http://www.linux-france.org/article/these/gpl.html pour plus de détails sur la licence GPL.
clickstats.phpAnciennes versions et changelog
custom_rss.php
custom_search.php
list.php
phpdig_logo_2.gif
phpdig_logo_2.png
phpdig_powered_2.gif
phpdig_powered_2.png
search.php
admin/cleanup_common.php
admin/cleanup_dashes.php
admin/cleanup_engine.php
admin/cleanup_keywords.php
admin/debug_functions.php
admin/deny.gif
admin/details.gif
admin/files.php
admin/fill.gif
admin/index.php
admin/install.php
admin/limit_update.php
admin/logout.php
admin/no.gif
admin/README.txt
admin/robot_functions.php
admin/spider.php
admin/statistics.php
admin/stop_spider.php
admin/update.php
admin/update_frame.php
admin/yes.gif
admin/temp/cronfile.txt
admin/temp/keepalive.txt
documentation/phpdig-api-en.html
documentation/phpdig-api-en.txt
documentation/phpdig-doc-en.html
documentation/phpdig-doc-en.txt
documentation/README.txt
includes/_connect.php
includes/common_words.txt
includes/config.php
includes/de_en_fr_common_words.txt
includes/it_common_words.txt
includes/README.txt
includes/style.css
information/CHANGELOG
information/COPYING
information/CREDITS
information/FILELIST
information/LICENSE
information/README
libs/auth.php
libs/authold.php
libs/function_phpdig_form.php
libs/htmlheader.php
libs/htmlmetas.php
libs/mysql_functions.php
libs/phpdig_functions.php
libs/search_function.php
locales/ca-language.php
locales/cs-language.php
locales/da-language.php
locales/de-language.php
locales/de-language-old.php
locales/en-language.php
locales/es-language.php
locales/fr-language.php
locales/gr-language.php
locales/it-language.php
locales/it-language-old.php
locales/nl-language.php
locales/no-language.php
locales/pt-language.php
locales/README.txt
rss/keepalive.txt
sql/init_db.sql
sql/update_db.sql
sql/update_db_to_1_4_4.sql
sql/update_db_to_1_4_5.sql
sql/update_db_to_1_6.sql
sql/update_db_to_1_6_1.sql
sql/update_db_to_1_8_1.sql
sql/update_db_to_1_8_2.sql
sql/update_db_to_1_8_4.sql
sql/update_db_to_1_8_5.sql
sql/update_db_to_1_8_6.sql
templates/black.html
templates/bluegrey.html
templates/corporate.html
templates/gaggle.html
templates/green.html
templates/grey.html
templates/lightgreen.html
templates/linear.html
templates/newspaper.html
templates/phpdig.html
templates/simple.html
templates/terminal.html
templates/yellow.html
text_content/keepalive.txt
tpl_img/aq_background.gif
tpl_img/bar_left.gif
tpl_img/bar_middle.gif
tpl_img/bar_right.gif
tpl_img/barre-verte.gif
tpl_img/barre-verte-bas.gif
tpl_img/barre-verte-bas-courte.gif
tpl_img/barre-verte-courte.gif
tpl_img/coininfd.gif
tpl_img/coininfg.gif
tpl_img/coinsupd.gif
tpl_img/coinsupg.gif
tpl_img/cprgo.gif
tpl_img/cprgradient.jpg
tpl_img/cprlogo.jpg
tpl_img/cprtitle.jpg
tpl_img/d.gif
tpl_img/fond.gif
tpl_img/g.gif
tpl_img/horzfeuil.gif
tpl_img/inf.gif
tpl_img/left.gif
tpl_img/orbar-center.gif
tpl_img/orbar-left.gif
tpl_img/orbar-right.gif
tpl_img/redbar_left.gif
tpl_img/redbar_middle.gif
tpl_img/redbar_right.gif
tpl_img/right.gif
tpl_img/space15_15.gif
tpl_img/sup.gif
tpl_img/vertfeuil.gif
tpl_img/weight.gif
2004-12-15 : Mise à jour mineure :
Added a constant based security check.
Conformed search output to standards (see http://www.php.net/manual/en/faq.html.php#faq.html.encoding).
Removed predefined server global from functions.
Fixed case in HTML entities (thanks to salzbermat).
Do not show "did you mean" if words not available.
Other miscellaneous edits/corrections.
2004-12-12 : Mise à jour mineure :
Highlight fixed for databased content.
Major security fix (thanks to zaartix).
CHANGE YOUR PASSWORDS AND THEN UPGRADE REGARDLESS OF YOUR VERSION!
2004-12-06 : Mise à jour mineure :
Ability to stop spider from browser added.
Search menu now supports search all option.
Can set different depths and links per site.
Text box available for multiple links via browser.
Explore path links with query string added (thanks to blueyed).
Return of update one page or directory (thanks to vinyl-junkie).
Fuzzy "did you mean" now by word not phrase (thanks to Rolandks).
Remove session variable fixed (thanks to Edomondo, indeh).
Relaxed cleaning regex in function (thanks to pavel).
Close connection added to requests (thanks to vital).
Limit to directory fixed for shell (thanks to indeh).
Remove duplicate log information (thanks to ChadK).
Encoding typo fix (thanks to kotaksurat99).
2004-07-14 : Mise à jour mineure :
Fix chunk encoding transfer issue with GET requests (thanks to Nad).
Correct typo in defined variable (thanks to davenewt).
Improve limit to directory option so it is consistent across options.
Allow links per depth to be set on a site by site basis.
Various edits to files.
2004-07-12 : Mise à jour mineure :
Magic quotes issue fixed when magic_quotes_runtime is on (thanks to majestique).
Authentication method based on cookies fixed (thanks to pki, RobM, manfred).
Variable edits for when register_globals is off (thanks to RobM).
Option to show hosts with dirs added to search menu.
Backwards order of search terms fixed.
Limit spider to specific directory.
2004-07-06 : Mise à jour mineure :
Click tracking now available (thanks to alivin70 and JÿGius³).
Cron job text file management (thanks to alivin70 and JÿGius³).
Search has 'did you mean X instead' fuzzy (thanks to Rolandks).
GET request modification to pass cookies (thanks to fredh).
Reading of robots.txt file updated (thanks to Carl Mikkelsen).
PPT support using external binaries (thanks to Carl Mikkelsen).
Limit spider to max of Y number of links per depth per site.
Different authentication method based on cookies.
Multiple session IDs and var names removable.
Now reads base href tags for indexing.
Some extra characters allowed in URLs.
Plurality of some phrases updated.
RSS feeds by search available.
Search by site or directory.
Can remove '-' index pages.
Support for TIS-620 added.
Different keyword storage.
Various edits to files.
Some bug fixes.
2004-01-19 : Mise à jour mineure :
The "and operator - exact phrase - or operator" replaces "words begin - exact words - any words part" options.
Security vulnerability in config.php file fixed (thanks to fraMe).
Support for iso-8859-7 and windows-1251 added (thanks to sv2bbi, others).
Characters '._~@#$:&%/;,=- now allowed in indexing and searches.
CSS modified in all templates and style.css file.
Various edits to several functions and/or files.
UPDATE TO VERSION 1.8.0 RECOMMENDED!
2003-12-03 : Mise à jour mineure :
Escaping added to path and file if necessary (thanks to ullone).
Highlight fixed when keyword is followed by period (thanks to mark).
Regex relaxed to allow for more characters (thanks to RedThypon).
Max number of results per site changed to allow all results in limit to searches.
Search depth of level zero enabled for index.
Option to bypass renice command added.
*For all versions prior to 1.6.5 (and non-patched version 1.6.5) add this patch.
2003-11-17 : Mise à jour mineure :
Display fix in result message (thanks to 123av).
Regex applied to path and title (thanks to manfred).
Option to bypass is_executable added (thanks to manfred).
Option to specify temp filename length added (thanks to manfred).
Empty temp files no longer in temp directory (thanks to manfred).
Extension options and external binary process modified.
Option to set max number of results per site added.
Exact match word highlighting fixed again.
2003-11-09 : Mise à jour mineure :
End of line marker fixed and added to config file (thanks to Rolandks).
Search box size and maxlength options added to config file (thanks to Rolandks).
Snippet display length option added to config file (thanks to plodz).
Missing l_time column added to logs table (thanks to Iltud, others).
The PHP strip_tags replaced with regular expression (thanks to Rolandks, manute).
The PHP mysql_create_db replaced with mysql_query (thanks to rayvd).
The PHPDIG_INCLUDE_COMMENT excluded from index (thanks to Iltud).
Extension options for external binaries added to config file.
Exact match word highlighting fixed.
2003-04-06 : Mise à jour mineure :
Support pour les jeux de caractères autres que 8859-1, encodage 8859-2 ajouté (Jan Kincl).
PhpDig reconnaît les cookies meta http-equiv.
La fonction phpdigTestUrl a été corrigée.
Les classes Css pour le mode "classic" ont été corrigées.
Le bug sur les meta noindex et nofollow ont été corrigés (Michael Chapman).
Une documentation succinte de l'API (en anglais) a été ajoutée.
Les erreurs de création de la base de données survenant avec certaines versions de MySql ont été corrigées.
2003-03-15 : Mise à jour mineure :
Support expérimental des cookies ajouté.
Retrait des SIDs des Urls possible.
Meilleure prise en compte des javascripts window.open.
Prise en compte des index par défaut en option.
Le caractère '+' est permis dans les Urls.
Ajout du temps moyen de recherche dans les logs.
Tous les paramètres de connexion MySql sont des constantes.
Bug dans l'installation "mise à jour" corrigé.
2003-03-09 : Mouvelle version :
PhpDig peut maintenant indexer les fichiers PDF, MS-Word et MS-Excel en utilisant des exécutables externes.
Mécanisme de verrouillage protégant un site des indexations concurrentes.
Tous les messages codés "en dur" sont maintenant localisés (Eric Chauvin).
Optimisation des requêtes de recherche et de l'analyse des templaes.
Conformité xhtml du template "PhpDig" et des interfaces d'administration ajoutée (Eric Chauvin).
L'interface web d'installation peut maintenant mettre à jour une base de données existante.
Certaines parties des documents HTML peuvent être exclues de l'indexation grâce à des commentaires dans le code.
Prise en charge des connexions MySql améliorée.
Des statistiques sur les recherches effectuées sont collectées afin d'améliorer le contenu du site en fonction de ce que cherchent les visiteurs.
Nouveau système de calcul de pertinence, minimisant le poids des pages contenant le même mot un grand nombre de fois.
Plus d'explications sur le fonctionnement de PhpDig ont été ajoutées dans la documentation.
2003-03-01 : Nouvelles fonctionnalités, corrections de bugs :
Les extraits textuels correspondent au mode de recherche (start/any/exact).
Meilleure configuration de affichage du texte dans les résultats.
Le robot peut lire un fichier contenant une liste de sites à indexer.
Plusieurs sites peuvent être indexés à la fois.
Nouveau design de l'interface d'administration.
Reprise et indexation forcées corrigées.
Analyse des templates corrigé.
Scripts de nettoyage de la base corrigés.
2003-02-26 : Nouvelles fonctionnalités :
Les tables peuvent être préfixées par une chaîne arbitraire.
L'indexation dans un domaine est désormais possible.
Meilleure implémentation des redirections.
Corrections de la documentation en anglais (John Zastrow).
Mise à jour des messages en allemand (Matthias Strohmaier).
Traduction des messages en Norvégien (Martin Kristiansen)
Traduction des messages en Tchèque (Dan Barta).
Les erreurs résiduelles E_ALL sont corrigées.
2003-02-22 : Nouvelles fonctionnalités :
PhpDig fonctionne désormais avec register_globals = off et/ou Error_reporting = E_ALL
Rétablissement du départ de la recherche à partir d'une autre URL que "/"
Les balises <?php ?> sont utilisées partout
Une option permet à la fonction de recherche de retourner un tableau
Toutes les fonctions ont été renommées et préfixées par "phpdig"
Utilisation de deux classes CSS pour le surlignage et les liens vers les pages trouvées
Quelques optimisations de code ont été effectuées
Si un message d'erreur survient pendant l'indexation, veuillez télécharger à nouveau l'archive. La première mise en ligne était corrompue (de 00:30:00 GMT à 11:30:00 GMT le 22/02)
2003-02-18 : Problème PHP :
Patch pour réparer la récupération de contenu suite à un bug PHP.
Consultez le Bug #22008 pour plus d'explications.
2003-02-17 : Correction de bug :
L'indexation d'un hôte écoutant sur un autre port que 80 est rétablie.
2003-02-16 : Améliorations, corrections de bugs :
L'archive du 16/02 comportait de mauvais fichiers. Ceci est corrigé
Note : Une mise à jour de la base de données est requise. Utilisez le fichier update_db_to_1_4_5.sql.
La recherche est maintenant une fonction, facilitant son intégration. (Les templates peuvent être qu'une partie de page.)
Surlignage corrigé.
Utilisation d'une CSS au lieu du fichier "style.php".
Les paramètres de configuration sont des constantes, sauf pour les tableaux.
Exclure un chemin de l'exploration est désormais possible.
2003-02-09 : Version corrigée :
PhpDig fonctionne avec PHP 4.3.0 (mais toujours avec register_globals=on).
Correction de l'indexation en ligne de commande (php-cli).
Correction des Templates.
2001-12-03 : Version corrigée :
Doublons insérés dans la table "site" corrigé.
2001-12-02 : Nouvelles fonctions, corrections de bugs :
PhpDig peut explorer un site en écoute sur un port autre que le port 80.
PhpDig peut également indexer un site protégé par mot de passe (Il est recommandé de lire la mise en garde à ce sujet dans la documentation).
Vue améliorée des répertoires dans l'interface d'administration.
Les caractères spéciaux islandais (!) sont supportés.
Phpdig fonctionne désormais sur un serveur configuré en error_reporting = E_ALL.
Mauvaise analyse du header HTTP Last-Modified corrigée.
2001-11-27 : Mise à jour et correction de bugs mineurs :
Système de modèles amélioré
Un champ a été ajouté dans la table keywords, pour améliorer les temps de réponse
Les requêtes qui causaient parfois des erreurs ont été corrigées
La portion de code causant parfois des core dumps a été corrigée
L'absence de mise à jour des contenus textuels a été corrigée
La mise à jour d'une branche/d'un fichier a été corrigée
2001-11-24 : Mise à jour mineure :
Documentation complète en anglais ajoutée.
Amélioration de l'analyse des fichiers robots.txt : Le caractère * est supporté ainsi que les fichiers (avec chemin complet).
Le caractère spécial "ß" est inclus dans l'indexation, certains mots en allemand n'étant pas reconnus. Merci à Christof Fritz pour la remontée de bug.
2001-11-18 : Mise à jour de la documentation :
Version complète en anglais ajoutée.
2001-11-11 : Correction mineures de bugs :
Les deux précédents patches sont inclus
La documentation complète en français est include (J'ai besoin d'aide pour une traduction correcte en anglais)
Authentification HTTP Simple ajoutée
2001-11-11 : Nouveau patch pour la version 1.4 :
Bug corrigé dans l'anayse des liens relatifs.
Bug corrigé dans la fonction test_url().
Remerciements à Florian Perrichot pour la remontée de bug
2001-11-07 : Patch de dernière minute pour la version 1.4 :
Correction des derniers bugs : remplacez les fichiers index.php à la racine, spider.php dans admin/, config.php dans includes/ et black.htm dans templates/. weight.gif est un nouveau fichier(racine).
2001-11-06 : Nouvelle version :
L'indexation et l'exploration de liens sont menés désormais de concert.
Charge réduite pour les serveurs indexés grâce à un système de cache.
La page de résultat inclut un extrait du document qui contient les occurences des mots recherchés.
Les scripts d'administration et de configuration, ainsi que les librairies sont dans des répertoires séparés, que l'on peut protéger à l'aide de fichiers .htaccess.
La page de résultats est facilement customisable par un système de modèles (exemples fournis).
Mode CGI amélioré permettant une mise à jour totalement automatique par une tâche cron.
Un grand Merci à Florian Perrichot pour le système de cache et les templates.
Fichier de traduction portugaise fourni par Carlos Serrão.
2001-06-04 : Correction de bug :
Un bug qui conduisait PhpDig à envoyer une requête http sur chaque nouveau lien trouvé même si il avait déjà testé ce lien a été corrigé.
2001-05-28 : Mise à jour mineure :
Fichier de traduction en italien fourni par Mirko Maischberger.
2001-05-27 : Mise à jour mineure :
Les versions cgi et http de l'indexation sont désormais dans le même script.
Le code est beaucoup plus commenté pour les développeurs.
2001-05-22 : Corrections de bugs :
Champ manquant dans le script init_db.sql corrigé.
L'exclusion de termes dans la recherche est corrigé.
Les apostrophes et guillemets dans le formulaire s'affichent correctement.
2001-05-19 : Version stable :
Fichier de messages espagnols fourni par Geffrey Velásquez.
Un bug sur le traitement des attributs "alt" dans les balises img a été résolu.
Le metatag "description" est inclu dans l'affichage des résultats de recherche.
2001-05-14 : Corrections et Mise à Jour :
Un bug qui causait l'insertion de doublons dans la base de données a été corrigé.
Un bug dans le script update_cgi a été corrigé.
Un bug qui empêchait PhpDig de détecter correctement les metatags Description et Keywords a été corrigé.
Un bug dans l'analyse des html entities a été corrigé.
Un bug dans la fonction html_to_plain_text() qui causait une mauvaise reconnaissance de mots distincts a été corrigé.
Le Header Http 'Last-modified' est maintenant pris en compte. n'oubliez pas de mettre à jour votre base de données à l'aide du script update_db_0_99.sql !
Le Metatag 'Revisit after' est reconnu.
Les sous-répertoires dans le fichier robots.txt sont pris en compte.
On peut maintenant supprimer un site entier de la base.
Correction de dernière minute : Dans les scripts d'indexation, commenter la ligne de debug $upddate = 0; (ligne 78, et 102 dans le script cgi)
2001-05-10 : Mise à jour :
Fichier de traduction en allemand fourni par Gregor Mucha.
Liste de mots communs en allemand fournis par la même personne.
Les noms de domaines externes sont indexés (i.e. www.gnu.org) et peuvent être retrouvés par la recherche.
Les fichiers COPYING, README et LICENSE ont été ajoutés dans l'archive.
2001-05-08 : Mise à jour :
Le fichier robots.txt est pris en compte, ainsi que les balises META ROBOTS, selon le standard décrit dans The Web Robots Page.
L'indexation des fichiers texte est accélérée.
Les fichiers sans extension sont maintenant indexés.
Les index et clef primaires de la base sont légèrement modifiés. (PhpMyAdmin permet de les modifier à la volée, vérifiez le fichier init_db.sql.
2001-05-06 : Mise à jour :
Quelques fichiers ont été corrigés par Brien Louque : documentation_en.html, search.php, en-language.php
Traduction grecque fournie par Sofoklis Magoulas.
Un script de mise à jour automatique a été ajouté, il se lance par la crontab avec une instance cgi de php.
Le délai d'expiration des pages est pris en compte par les scripts d'indexation.
2001-05-05 : Mise à jour :
PhpDig est maintenant disponible à la fois en Français et en Anglais.
Des formulaires localisés sont fournis dans l'archive.
2001-05-03 : Mise à jour :
English doc was added to the archive.
L'algorithme de recherche a été refondu. Moins de SQL, plus de php.
La localisation dans différentes langues est en cours.
On peut désormais exclure des termes de la recherche.
Le calcul de pertinence est un produit et non plus une somme.
Le formulaire de recherche et la page de résultat sont fournis en version anglaise temporairement sous forme de deux fichiers séparés.
2001-05-02 Corrections mineures :
Le problème de la page de résultats qui ne gardait pas les filtres lors de la navigation entre pages a été résolu.
Les liens news: ne sont plus suivis.
Quelques requêtes SQL ont été optimisées.
Pour la recherche, SQL_BIG_SELECT est positionné à 1.
PhpDig ne se fait plus passer pour IE lors des tests d'urls ;-).
2001-05-02 Bug Fix pour la version 0.91b
Le script search.php ne passait pas tous les paramètres dans la navigation parmi les résultats
2001-05-01 Correction mineure :
Le problème de l'indexation des textes trops longs qui bloquaient le moteur a été corrigé.
2001-04-30 Première release de PhpDig :