[edit] Last updated: Mon, 01 Nov 2010

CLVI. Funkcje Tokenizera

Wstęp

Funkcje tokenizera są interfejsem dostępu do wewnętrznego tokenizera wbudowanego w silniku Zend. Używając tych funkcji możesz napisać swoje własne narzędzia do analizy lub modyfikacji kodu PHP bez potrzeby zajmowania się specyfikacją języka na poziomie analizy leksykalnej.

Patrz także dodatek o tokenach.

Wymagania

Do zbudowania tego rozszerzenia nie są wymagane żadne zewnętrzne biblioteki.

Instalacja

Począwszy od PHP 4.3.0 funkcje te są dostępne domyślnie. Dla starszych wersji musisz skonfigurować i skompilować PHP z opcją --enable-tokenizer. Możesz wyłączyć wsparcie tokenizera opcją --disable-tokenizer.

PHP w wersji dla systemów Windows posiada wbudowaną obsługę dla tego rozszerzenia. Nie trzeba ładować żadnych dodatkowych rozszerzeń aby korzystać z tych funkcji.

Notatka: Wbudowane wsparcie dla tokenizera dostępne jest od PHP 4.3.0.

Stałe predefinopwane

When the extension has either been compiled into PHP or dynamically loaded at runtime, the tokens listed in Dodatek Q are defined as constants.

Przykłady

Poniżej prosty skrypt PHP używający tokenizera który wczyta plik PHP, usunie wszystkie komentarze ze źródła i wydrukuje tylko czysty kod.

Przykład 1. Usuwanie komentarzy przy pomocy tokenizera


<?php

  /* T_ML_COMMENT nie istnieje w PHP 5.

   * Następujące trzy linie definiują tą stała by zachować kompatybilność

   * wsteczną.

   *

   * Kolejne dwie linie definiują istniejącą tylko w PHP 5 stałą

   * T_DOC_COMMENT, którą w PHP 4 podmienimy jako T_ML_COMMENT.

   */

  if (!defined('T_ML_COMMENT')) {

    define('T_ML_COMMENT', T_COMMENT);

  } else {

    define('T_DOC_COMMENT', T_ML_COMMENT);

  }

 

  $kod = file_get_contents("jakisplik.php");

  $tokeny = token_get_all($kod);

 

  foreach ($tokeny as $token) {

    if (is_string($token)) {

      // prosty token jednoznakowy

      echo $token;

    } else {

      // tablica definiująca token

      list($id, $tekst) = $token;

      

      switch ($id) { 

        case T_COMMENT: 

        case T_ML_COMMENT: // to zdefiniowaliśmy

        case T_DOC_COMMENT: // to też

          // brak akcji dla komentarzy

          break;

        default:

          // wszystko inne -> drukuj "jakie jest"

          echo $tekst;

          break;

      }

    }

  }

?>

Spis treści
token_get_all -- Dzieli zadane źródło na tokeny PHP
token_name -- Zwraca symboliczną nazwę danego tokena PHP

add a note User Contributed Notes Funkcje Tokenizera

lists at 5etdemi dot com 23-Jul-2005 01:33


The tokenizer functions are quite powerful. For example, you can retrieve all of the methods in a given class using an algorithm like:



for each token:

if token is T_FUNCTION then start buffer

if buffer is started then add the current string to the buffer

if token is ( stop buffer



And the great thing is that the class methods will have the right case, so it's a good way to get around the limitations with get_class_methods returning lowercase method names. Also since using a similar algorithm you can read the arguments of a function you can implement Reflections-like functionality into PHP4. 



Finally you can use it as a simpler method of extracting Javadoc out of a class file to generate documentation. The util/MethodTable.php class in AMFPHP (http://www.amfphp.org) uses the tokenizer functions to create a method table with all of the arguments, a description, return type, etc. and from that method table it can generate ActionScript that matches the PHP, but it could also be fitted to generate JavaScript, documentation files, or basically anything you put your mind to. I can also see that this could be the base for a class -> WSDL file generator.

add a note