读取文本文件

fujike029 2008-7-1 18:57 楼主

我现在有段代码能读取ANSI编码方式的文本,可是UNICODE编码的文本却是打不开.
现在我想要既能读ANSI又能读UNICODE.
各位有什么办法不.

CFile file;
TCHAR* szMsg = new TCHAR[100];
szMsg = m_FullFileName.GetBuffer(m_FullFileName.GetLength());
if(!file.Open(m_FullFileName,CFile::modeRead,NULL))
// if(!file.Open(szMsg,CFile::modeRead,NULL))
return;
CDC * pdc=this->GetDlgItem(IDC_Text)->GetDC();
unsigned char * pdata;
pdata=(unsigned char *)malloc(LENGTH_READ_ONCE+10);
// TCHAR* pdata;
// pdata=(TCHAR*)malloc(LENGTH_READ_ONCE+10);

回复评论（21）

板凳落寒残梦

如果是Unicode，文件的前两个字节是标识位。具体是什么，可以UE看看，好像是0xff和0xfe。

显示的时候，过滤此两个字符，应该可以正常显示的。

点赞 2008-7-1 23:02

4楼洗了八吨水

如果直接读，除了0xFF 0xFE表示Unicode，还有0xFE 0xFF表示UTF-8。
其实，你用记事本(NotePad)保存普通文本，另存Unicode文本，Utf-8文本，然后用UltraEdit之类的以16进制方式打开，就能看到开始的差别了。

点赞 2008-7-2 09:13

5楼 yaschiro

读是都可以读,但是显示的时候要根据文件头判断字符编码格式,然后用MultiByteToWideChar转换

点赞 2008-7-2 09:17

6楼 richpowerHK

[uote=引用 4 楼 Reallyu 的回复:]
读是都可以读,但是显示的时候要根据文件头判断字符编码格式,然后用MultiByteToWideChar转换
[/quote]

我在网上找了下,大多是这种做法,可是要一个一个去转换吗?我还找到一个可以读取UNICODE的类.可是呢, 是在VC++下写的.

CFile file;
if(!file.Open(m_FullFileName,CFile::modeRead,NULL))
return;
unsigned char * pdata;
pdata=(unsigned char *)malloc(LENGTH_READ_ONCE);
memset(pdata,0,LENGTH_READ_ONCE);
file.Seek(pagestart[m_CurPage],SEEK_SET);
file.Read(pdata,LENGTH_READ_ONCE);
file.Close();
pdata[pageend[m_CurPage]-pagestart[m_CurPage]+1]=0;
CString text=pdata;
m_Text.SetWindowText(text);

就这段代码作如何更改.

点赞 2008-7-2 09:40

ANSI：　　　　　　　　无格式定义；

对于Unicode，几种编码的BOM如下：

UTF-32, big-endian 文件的前4个byte是：00 00 FE FF
UTF-32, little-endian文件的前4个byte是：FF FE 00 00
UTF-16, big-endian文件的前2个byte是：FE FF
UTF-16, little-endian文件的前2个byte是：FF FE
UTF-8文件的前3个byte是：EF BB BF
UTF-7的规律特殊一点，不是前几个byte，而是所有的byte转换为十进制都小于127。

一般来说
判断如果文本文件的开头两个字节是0xFF和0xFE和0xEF，那么就是Unicode，否则是ANSI。
UTF-32的比较少。

如何判断一段字符串是ANSI还是Unicode？
用IsTextUnicode进行判断。IsTextUnicode使用一系列统计方法和定性方法，以便猜测缓存的内容。由于这不是一种确切的科学方法，因此 IsTextUnicode有可能返回不正确的结果。

点赞 2008-7-2 09:55