BOM: 萬國碼檔案簽名 BOM (Byte Order Mark, U+FEFF)
BOM 的內容可以表示 UNICODE 是哪種編碼, 但是在接收到的檔案, 要拆解後寫入 DB, 看到 BOM 就覺得有點 ooxx.
在 utf8_encode 看到兩段程式可以來測試 寫入/移除 BOM.
- 將寫入的檔案內容前加 BOM
<?php function writeUTF8File($filename,$content) { $f = fopen($filename, 'w'); fwrite($f, pack("CCC", 0xef,0xbb,0xbf)); fwrite($f,$content); fclose($f); } ?>
- 移除 BOM function
<?php function removeBOM($str = '') { if (substr($str, 0,3) == pack("CCC",0xef,0xbb,0xbf)) $str = substr($str, 3); return $str; } ?>
由此上述 BOM = pack("CCC",0xef,0xbb,0xbf), 所以移除 BOM 的寫法可用上面的 removeBOM function 或 下述其一:
- str_replace("\xef\xbb\xbf", '', $bom_content);
- preg_replace("/^\xef\xbb\xbf/", '', $bom_content);
另外看到 判斷此字串是不是 UTF-8 的 function:
<?php function isUTF8($string) { return (utf8_encode(utf8_decode($string)) == $string); } ?>
是否檔案(例如:字幕)也能判斷是不是UTF-8編碼嗎?(含 BOM 與不含 BOM 兩種)
可以~ 🙂
您好,想請教您,如果是要在 Linux 下判斷檔案是否為 UTF-8 編碼(含 BOM 或不含 BOM 都要可判斷),
是否有比較好的方式呢?(非使用PHP)
搞了一整天的東西,終於在這裡找到解決,謝謝您的分享
xxd -l 3 -p filename
如果出來結果是 efbbbf => BOM
不是則不是 BOM
您好,謝謝!
我的疑問是並非所有檔案在UTF-8時都會加上efbbbf的 BOM,
所以,如果檔案 header 並沒有含入 efbbbf,
是否有辦法能判斷是不是UTF-8格式呢?
此文最下面那個 function 就可以判斷那篇是否是 UTF-8 的文章.
或者使用 iconv -f utf-8 -t big5 filename, 如果能順利轉換, 那也代表這篇文章是 UTF-8.
謝謝您的回答。
iconv 的誤判率其實蠻高的,目前我還在找除了加上BOM,還有什麼方法或工具可以用來自動偵測檔案的編碼為 UTF-8 或是 BIG5、GB2312、ISO8859-1、....等。
看來要能自動偵測世界各國的編碼並不是那麼容易 XD
嗯嗯, 偵測世界各國編碼, PHP 有一個 function, 不過準確率確實也有點問題.
如果您有找到, 也勞煩您跟小弟指導一下, 我也蠻想知道怎麼解決此問題的. Orz..
Hello~我是NC網頁設計師,現在是半夜12點,謝謝您這一篇文章讓我抓出某第三方支付API中無法json_decode的問題~
呵呵,辛苦了~ 🙂