[edit] Last updated: Mon, 01 Nov 2010

CLXIV. Tokenizer Funktionen

Einführung

Die Tokenizer-Funktionen bieten eine Schnittstelle zum in PHP integrierten PHP-Tokenizer der Zend-Engine. Mit Hilfe dieser Funktionen ist es möglich ein eigenes Werkzeug zur PHP-Quelltextanalyse oder -modifikation zu entwickeln. Der Umgang mit der Sprachspezifikation auf lexikalischer Ebene wird nicht benötigt.

Siehe auch Anhang zu Tokens.

Anforderungen

Diese Erweiterung benötigt keine externen Bibliotheken.

Installation

Seit PHP 4.3.0 sind diese Funktionen standardmäßig aktiviert. Für ältere Versionen muß PHP mit der Option --enable-tokenizer konfiguriert und kompiliert werden. Die Unterstützung kann mit der Option --disable-tokenizer deaktiviert werden.

Die Windowsversion von PHP enthält diese Erweiterung. Um diese Funktionen zu verwenden, müssen Sie keine zusätzlichen Erweiterungen aktivieren.

Anmerkung: Ab PHP 4.3.0 stehen die Funktionen standardmäßig zur Verfügung.

Vordefinierte Konstanten

Sobald die Erweiterung mit PHP kompiliert wurde oder dynamisch zur Laufzeit geladen wurde, stehen die im Anhang Q, List of Parser Tokens aufgelisteten Tokens als Konstanten zur Verfügung.

Beispiele

Folgend ein einfaches Beispiel, dass den Tokenizer verwendet um eine PHP-Datei einzulesen, alle Kommentare zu entfernen und den reinen Quelltext auszugeben.

Beispiel 2173. Kommentar mit Hilfe des Tokenizers entfernen


<?php

/*

 * T_ML_COMMENT steht in PHP 5 nicht zur Verfügung.

 * Die folgenden drei Zeilen definieren die Konstante

 * um Abwärtskompatibilität zu gewährleisten.

 *

 * Die nächsten zwei Zeilen definieren die nur in PHP 5

 * verfügbare Konstante T_DOC_COMMENT, die für PHP 4

 * mit T_ML_COMMENT maskiert wird.

 */

if (!defined('T_ML_COMMENT')) {

    define('T_ML_COMMENT', T_COMMENT);

} else {

    define('T_DOC_COMMENT', T_ML_COMMENT);

}



$source = file_get_contents('example.php');

$tokens = token_get_all($source);



foreach ($tokens as $token) {

    if (is_string($token)) {

        // einfaches 1-Zeichen Token

        echo $token;

    } else {

        // Token Array

        list($id, $text) = $token;

 

        switch ($id) { 

            case T_COMMENT: 

            case T_ML_COMMENT: // wir haben diese

            case T_DOC_COMMENT: // und diese Konstante definiert

                // Kommentare ignorieren

                break;



            default:

                // alle anderen -> unverändert beibehalten

                echo $text;

                break;

        }

    }

}

?>

Inhaltsverzeichnis

token_get_all — Spaltet angegebenen PHP-Quelltext in PHP-Tokens auf
token_name — Gibt Bezeichner für ein PHP-Token zurück

add a note User Contributed Notes Tokenizer Funktionen

lists at 5etdemi dot com 23-Jul-2005 01:33


The tokenizer functions are quite powerful. For example, you can retrieve all of the methods in a given class using an algorithm like:



for each token:

if token is T_FUNCTION then start buffer

if buffer is started then add the current string to the buffer

if token is ( stop buffer



And the great thing is that the class methods will have the right case, so it's a good way to get around the limitations with get_class_methods returning lowercase method names. Also since using a similar algorithm you can read the arguments of a function you can implement Reflections-like functionality into PHP4. 



Finally you can use it as a simpler method of extracting Javadoc out of a class file to generate documentation. The util/MethodTable.php class in AMFPHP (http://www.amfphp.org) uses the tokenizer functions to create a method table with all of the arguments, a description, return type, etc. and from that method table it can generate ActionScript that matches the PHP, but it could also be fitted to generate JavaScript, documentation files, or basically anything you put your mind to. I can also see that this could be the base for a class -> WSDL file generator.

add a note