PHP

十二月 4 2017

PHP 的 MySQL driver/library 與記憶體耗用

再來還些債…

前陣子我們家在看一些 PHP 的版本差異，也順便拆一些地雷。
先說記憶體耗用，我們用下面這段程式在一些 PHP 版本上執行，觀察記憶體耗用：

<?php
$a = memory_get_usage();
echo "begin:\t$a" . PHP_EOL;

$arr = array();
for ( $i = 0; $i < 100000; $i++ ) {
    array_push($arr, $i);
}

$b = memory_get_usage();
echo "end:\t$b" . PHP_EOL;

echo "diff:\t" . ($b - $a) . PHP_EOL;

在 PHP 5.1 ( on 32-bit Linux ) 觀察到的記憶體差距值大約是 5.8 MB，在 PHP 5.3 ~ 5.6 ( on 64-bit Linux ) 觀察到的記憶體差距值大約是 14 MB，而 PHP 7.1 ~ 7.2 ( on 64-bit Linux ) 觀察到的記憶體差距值大約是 4 MB。

至於 PHP 的 MySQL driver/library 方面…
參考官方提供的 Overview of the MySQL PHP drivers : Buffered and Unbuffered queries ；PHP 的所有的 MySQL extensions 預設使用 buffered mode，所以在撈取大量資料時，PHP 執行完 SQL statement 就會耗用大量記憶體。
另外，在官方提供的 Overview of the MySQL PHP drivers : Choosing a library 可以看到，PHP 5.3 以前的預設 MySQL driver ( libmysqlclient ) 沒使用 PHP 的原生記憶體管理，PHP 5.3 之後的預設 MySQL driver ( mysqlnd; MySQL Native Driver) 才開始用。
對這些行為，我們另外生了一段測試程式：

<?php
$a = memory_get_usage();
echo "begin:\t\t$a" . PHP_EOL;

$dbConn = new PDO(.....);
$b = memory_get_usage();
echo "new PdoMySQL:\t$b\t\tDiff: " . ($b - $a) . PHP_EOL;

$st = $dbConn->query("SELECT * FROM testTable LIMIT 30000");

$b = memory_get_usage();
echo "get Stmt:\t$b\tDiff: " . ($b - $a) . PHP_EOL;

$row1 = $st->fetch();

$b = memory_get_usage();
echo "fetch once:\t$b\tDiff: " . ($b - $a) . PHP_EOL;

$row2 = $st->fetch();

$b = memory_get_usage();
echo "fetch twice:\t$b\tDiff: " . ($b - $a) . PHP_EOL;

$st->closeCursor();

$b = memory_get_usage();
echo "closeCursor:\t$b\t\tDiff: " . ($b - $a) . PHP_EOL;

$row3 = $st->fetch();
$b = memory_get_usage();
echo "fetch:\t\t$b\t\tDiff: " . ($b - $a) . PHP_EOL;

var_dump($row3);

在 PHP 7.1 ( with mysqlnd , 64-bit Linux ) 的數據如下：

begin:          355552
new PdoMySQL:   378784          Diff: 23232
get Stmt:       25866944        Diff: 25511392
fetch once:     25868752        Diff: 25513200
fetch twice:    25870568        Diff: 25515016
closeCursor:    384104          Diff: 28552
fetch:          384104          Diff: 28552
bool(false)

在 PHP 5.1 ( with libmysqlclient , 32-bit Linux ) 的數據則是：

begin:          50432
new PdoMySQL:   85752           Diff: 35320
get Stmt:       92184   Diff: 41752
fetch once:     93584   Diff: 43152
fetch twice:    95248   Diff: 44816
closeCursor:    95312           Diff: 44880
fetch:          95400           Diff: 44968
bool(false)

應該有為數不少的 PHP developers 曾經踩過這種記憶體相關的地雷…

By Joe Horn • PHP • 0

十一月 30 2017

PHPExcel 的活頁簿標題 ( SheetTitle ) 處理

之前曾經使用 PHPExcel 踩到地雷，處理完之後一直忘記載這邊留個紀錄（拖稿？)。

Excel 的活頁簿標題有字元 & 長度限制，但 library ( PHPExcel ) 沒有特別判斷 & 處理，所以…

    // Excel 的活頁簿 title 不允許 * : / \ ? [ ]
    $currTitle = str_replace(
        array('*', ':', '/', '\\', '?', '[', ']'),
        "",
        $currTitle
    );

    // 字數上限 31，保守抓 30
    $maxByte = 90;
    $chars = mb_strlen($currTitle, 'UTF-8');
    while ( $chars > 30 ) {
        $currTitle = mb_strcut($currTitle, 0, $maxByte, 'UTF-8');
        $chars = mb_strlen($currTitle, 'UTF-8');
        $maxByte--;
    }

By Joe Horn • PHP • 0 • Tags: PHP, PHPExcel

七月 10 2014

[PHP] 自製金錢分攤函式

近日在工作上應該會需要計算金錢分攤，簡單寫了個 PHP 函式備用。

function shareAmount( $amount , $shares ) {
    $arr = array();
    if ( is_numeric($amount) && is_int($shares) ) {
        $precision = is_int($amount) ? 0 : strlen(substr($amount, strpos($amount, '.')+1));
        for ( $i = $shares; $i > 0; $i-- ) {
            $val = round( $amount / $i , $precision );
            array_push( $arr , $val );
            $amount -= $val;
        }
    }
    return $arr;
}

執行結果大概像這樣：

// var_dump( shareAmount(101,3) );
array(3) {
  [0]=>
  float(34)
  [1]=>
  float(34)
  [2]=>
  float(33)
}

// var_dump( shareAmount(0.5101,3) );
array(3) {
  [0]=>
  float(0.17)
  [1]=>
  float(0.1701)
  [2]=>
  float(0.17)
}

我在資料庫沒看到大數，所以就沒考慮 BC Math，直接用 is_numeric() 了… :p

By Joe Horn • PHP • • Tags: PHP

九月 27 2013

[PHP] HTTP 連線的資料共用

我相信有許多 Web 應用程式開發者與我類似，常常想辦法預存一些經常存取、變動頻率不高的資料，提昇程式效能。
透過這類的資料預存，可以降低資料庫存取頻率，並減少 server 的 file I/O 次數。

在 .Net 與 JAVA 的領域，程式語言都提供了相關的物件/變數，讓 Web 應用程式儲存資料，而該應用程式的所有連線使用者皆可以存取。
.Net 用的是 System.Web.Caching.Cache；JAVA Servlet 是 javax.servlet.ServletContext，而 JSP 的 Application 物件便是其實作。
但在常見的環境（eg. Apache HTTPD w/MPM prefork + mod_php），也沒有額外的模組（eg. APC、memcache），PHP 難以提供這種物件/變數讓人使用，開發者只能硬幹。 :p

因為 COOKIE 的 size 有限，在 PHP 大概只能用 SESSION 硬幹。
我是這樣做的…

存入/更新：

function writeAppCache( $app_name , $data ) {
	// 紀錄原本的 session ID
	$orig_session_id = session_id();

	// 如果已有 session 存在
	if ( !empty($orig_session_id) ) {

		// 存放原本的 session 資料
		session_write_close();

		// 切換到自己定義的 application session，存放/更新資料
		session_id($app_name);
		$_SESSION = $data;
		session_write_close();

		// 切換回原本的 session
		session_id($orig_session_id);
		session_start();
	}
}

讀取：

function readAppCache( $app_name ) {
	$data = null;
	// 紀錄原本的 session ID

	$orig_session_id = session_id();
	// 如果已有 session 存在
	if ( !empty($orig_session_id) ) {

		// 存放原本的 session 資料
		session_write_close();

		// 切換到自己定義的 application session，讀取資料
		session_id($app_name);
		$data = $_SESSION;
		session_write_close();

		// 切換回原本的 session
		session_id($orig_session_id);
		session_start();
	}
	return $data;
}

因為所有程式都能存取 session 內的資料，不建議在 session 內儲存私密/機密資料。
若要避免資料不小心被同一台 server 的其他程式，可以加上 session_name() 作區隔。

By Joe Horn • PHP • • Tags: javax.servlet.ServletContext, performance, PHP, session, System.Web.Caching.Cache

九月 5 2013

PHP 樣板引擎（templating engines）

翻文件翻到這篇。
雖然時間有點久了（2009 年的文章），但我覺得該文仍具參考價值。

該文裡面提到了一些樣板引擎；排除已經不存在的 Calypso，目前仍存在的有這些：

該文作者沒提到 Template Lite、Zend View，倒是給了些數據。

網路上有許多 Smarty 2、Smarty 3、Dwoo 的效能評測資訊，由快至慢列舉的話，幾乎都是 Dwoo -> Smarty 2 -> Smarty 3。
但是 Dwoo 已經宣告 EOL 了。官方網站直接放上這段文字：

Important Notice – Dwoo End Of Life
This library is not being maintained anymore for quite a while, so if you are starting a new project you should consider using Twig instead.

Twig 官方的安裝文件給了數種安裝方式，不知道文章作者用的是哪一種。
（如果是 compile 成 PHP extension 的話，效能肯定是比較好的呀… ）

PS. Twig 的 for … in … 挺有趣啊，我看到 Perl 的影子。

By Joe Horn • PHP • • Tags: benchmark, Dwoo, eZ Components, PHP, PHPTAL, Smarty, templating engine, Twig

一月 10 2013

[PHP] foreach() 會踩到的陷阱 ( bug ? )

今天在公司處理某支程式時，發現使用 PHP 的 foreach() 可能會踩到這個陷阱（或許算是 bug ？！）。

以下這段範例程式，結果是正確的。

<?php
$arr = array();

array_push( $arr , 1 );
array_push( $arr , 2 );
array_push( $arr , 3 );

$arr['a'] = 'A';
$arr['b'] = 'B';
$arr['c'] = 'C';

foreach ( $arr as $k => $v ) {
	echo "$k => $v" . PHP_EOL;
}
?>

結果：

0 => 1
1 => 2
2 => 3
a => A
b => B
c => C

但下面這段範例程式的結果就很妙了…

<?php
$arr = array();

array_push( $arr , 1 );
array_push( $arr , 2 );
array_push( $arr , 3 );

$arr['a'] = 'A';
$arr['b'] = 'B';
$arr['c'] = 'C';

foreach ( $arr as $k => $v ) {
	if ( $k == 'b' ) {
		echo "$k => $v" . PHP_EOL;
	}
	if ( $k === 'b' ) {
		echo "$k ==> $v" . PHP_EOL;
	}
}
?>

結果：

0 => 1
b => B
b ==> B

By Joe Horn • PHP • • Tags: foreach, PHP

十一月 19 2010

[PHP] BC Math 的妙用

最近用 PHP 開發某個 service 介面，來貼個心得。

這個 service 介面允許呼叫者使用 HTTP POST 欄位與 JSON 兩種方式傳進變數，處理儲存在 MySQL 資料庫裡面的資料，並以 JSON 作為輸出資料的格式。

為了避免被鑽漏洞，以及排除錯誤的資料，這個系統必須檢查每一個傳進來的參數是否正確。
但某些資料表的 ROW_ID 是 unsigned BIGINT，我必須另外考慮 32-bit 與 64-bit 平台的差異。

因為 PHP 的 intval 有這段說明：

The maximum value depends on the system. 32 bit systems have a maximum signed integer range of -2147483648 to 2147483647. So for example on such a system, intval(‘1000000000000’) will return 2147483647. The maximum signed integer value for 64 bit systems is 9223372036854775807.

所以，PHP 的 intval 是不能用的。

於是，我就動起了 BC Math 的歪腦筋。
由於 SQL statement 是字串，我不需要顧慮變數型態，可以直接把原本檢查 ROW_ID 的這段 code：

$Id = intval( $Input['id'] );
if ( empty($Id) ) {
	// Output error message
	exit();
}

改成這樣：

$Id = bcadd( "{$Input['id']}", "0" );
if ( empty($Id) ) {
	// Output error message
	exit();
}

PS 1. 傳入負值不用管，因為 ROW_ID 已經 unsigned 了，不會有影響。
PS 2. ROW_ID 的輸出也可以不用管，因為 query 出來的資料型態都是 string。

By Joe Horn • PHP • • Tags: JSON, MC Math, PHP

九月 8 2010

PHP 讓人詬病的系統安全性

這篇討論的不是 PHP Web 的安全相關議題，而是 Web server 管理者應該考量的系統安全議題。XSS、SQL injection 屬於前者，防禦的對象是網頁的瀏覽者；而這篇討論的防禦對象是經常被忽略的 PHP 網頁系統開發人員。

很多人都知道，PHP 屬直譯語言。因為不需要編譯，所以程式碼幾乎可以說是裸露的；除非用 ionCube PHP Encoder 這類的產品作加密，否則，開發人員只要有程式檔案的存取權，就可以看到程式碼。
現今，幾乎所有的 PHP 網頁系統都使用了後端資料庫，而資料庫存取的設定也都是寫在 PHP 程式碼裡面，類似以下這樣：

define( 'DB_SERVER' ,		'localhost' );
define( 'DB_SERVER_USERNAME' ,	'db_username' );
define( 'DB_SERVER_PASSWORD' ,	'db_password' );
define( 'DB_DATABASE' ,		'db_name' );

再透過 require()、require_once()、incluce()、include_once() 等設定檔引入。
如果這個設定檔的路徑沒有在 include_path 系統變數中，引入的方法大概會是這樣：

require_once( '/SOME/WHERE/DB_SETTING.php' );

這樣的系統意味著，有心的程式開發人員可以透過以下這一行程式，輕易取得資料庫存取設定：

echo file_get_contents( '/SOME/WHERE/DB_SETTING.php' );

若是 /SOME/WHERE 被放入 include_path 系統變數，程式開發人員可以透過以下的程式碼引入資料庫存取設定：

require_once( 'DB_SETTING.php' );

雖然以下的程式碼已經無法取出資料庫存取設定：

echo file_get_contents( 'DB_SETTING.php' );

但遇到以下這種程式碼依然是破功：

$paths = explode( ':' , ini_get( 'include_path' ) );

foreach ( $paths as $path ) {
  $file_str = $path . DIRECTORY_SEPARATOR . 'DB_SETTING.php';

  if ( file_exists( $file_str ) ) {
    echo file_get_contents( $file_str );
  }
}

即使設定 auto_prepend_file（之前的文章有提過），或是採用 Autoloading classes，這種問題依然存在。

根本的解決方法就是用 ionCube PHP Encoder 這類的產品作加密，或是用 C 語言撰寫 PHP extension。
很無奈.. 但卻是一針見效。

By Joe Horn • PHP, Thoughts • • Tags: auto_prepend_file, Autoloading classes, Database, include, include_once, include_path, PHP, require, require_once, security

八月 25 2010

PHP 的 mysqlnd（MySQL Native Driver）

PHP 自 5.3.0 開始，引入 mysqlnd 這個 extension。
在 5.3.0 的 Full ChangeLog 中可以看到這行：

Added mysqlnd extension as replacement for libmysql for ext/mysql, mysqli and PDO_mysql. (Andrey, Johannes, Ulf)

依照個人的過往經驗，native driver 的效能都會比較好，而 mysqlnd 也不例外（有興趣的可以看看這篇文章）。

比較可惜的是，mysqlnd 在 Windows 平台的 PHP 是預設套件；在 *NIX 平台，使用前必須在編譯前就先做好設定（configure；參數可參考 PHP 官方的mysqlnd 安裝文件）。

剛才，很高興看到 FreeBSD 的 PHP5 ports 加入了 option，讓我們可以輕鬆搞定。

By Joe Horn • Database, FreeBSD, PHP • • Tags: FreeBSD, MySQL, mysqlnd, PHP

八月 8 2010

[PHP] 試玩 MongoDB 的資料關聯

發現 MongoDB 是好一陣子前的事，而我也在某台機器上把它裝起來。
之前玩的時候，發現 MongoDB 不須帳號與密碼就可以連接，而且也無法配置使用者權限，所以把它丟在旁邊。

前幾天，我在網路上看到網友詢問 MongoDB 有沒有辦法作 JOIN，而他得到的答案是否定的。
趁著今天在家閒閒沒事作，書也看完幾個段落，就透過 PHP 來試試這種 ODBMS 如何實作資料關聯。

MongoDB 與常見的資料庫（例如：MySQL）有些微的不同：

	資料庫	資料表
MongoDB 稱之為	Database（DB）	Collection
MySQL 稱之為	Database（DB）	Table

先把這個觀念講清楚，底下的範例程式碼才不會看得霧煞煞。

首先，先建立 DB 與 Collection：

// 連接 MongoDB
$m = new Mongo();

// 連接資料庫，名稱就是 test
$testDB = $m->selectDB( 'test' );

// 建立 Collection，名稱分別是 user 與 sex
$testDB->createCollection( 'user' );
$testDB->createCollection( 'sex' );

MongoDB 沒有 createDB 這種指令。只要選擇資料庫，建立 Collection 之後，系統就會自動產生 DB。
指令列模式下，選擇資料庫的指令跟 MySQL 相同（USE DB_NAME）。

再來，存入性別資料：

// 連接 MongoDB
$m = new Mongo();

// 連接資料庫，名稱就是 test
$testDB = $m->selectDB( 'test' );

// 在 sex 這個 Collection 裡面放入資料，好讓程式分辨男性與女性
$testDB->sex->insert( array('sex_name' => 'Female') );
$testDB->sex->insert( array('sex_name' => 'Male') );

// 把 sex 這個 Collection 的資料倒出來看
$cursor = $testDB->sex->find();
$array = iterator_to_array($cursor);
var_dump($array);

以往我們儲存在 Table 的 data row 會有個 id 值，方便我們建立關聯。MongoDB 這種資料庫則是在 Collection 裡面放物件，可以不需要 id 值。

開始存入使用者名稱，並紀錄他（她）們的性別：

// 連接 MongoDB
$m = new Mongo();

// 連接資料庫，名稱就是 test
$testDB = $m->selectDB( 'test' );

// 找出男性資料，並取得關聯值
$male = $testDB->sex->findOne( array('sex_name' => 'Male') );
$refMale = $testDB->sex->createDBRef( $male );

// 找出女性資料，並取得關聯值
$female = $testDB->sex->findOne( array('sex_name' => 'Female') );
$refFemale = $testDB->sex->createDBRef( $female );

// 存入使用者資料
$testDB->user->insert( array('name' => 'BoyName', 'sex' => $refMale) );
$testDB->user->insert( array('name' => 'GirlName', 'sex' => $refFemale) );

// 取出並顯示使用者資料
$cursor = $testDB->user->find();
$array = iterator_to_array($cursor);
foreach ( $array as $user ) {
        // 找出性別的關聯物件
        $sexRef = $testDB->user->getDBRef($user['sex']);
        echo "Name: {$user['name']}\tSex: {$sexRef['sex_name']}\n";
}

以上，簡單的試玩心得。

By Joe Horn • Database, PHP • • Tags: Database, MongoDB, Object, ODBMS, PHP

1 2 3

PHP