扣丁学堂浅谈Linux下文件中文乱码该如何处理

2018-01-16 11:28:51 591浏览

　　今天扣丁学堂小编给大家整理一下关于Linux下文件中文乱码一般都有哪些情况呢?下面我们一起来看一下吧，首先实乱码这个问题是由系统集成的字符集引起的,由于不能正确的使用相对应字符的字符集,因此OS不能识别出文字导致了乱码,解决的方法不难......

首先,我们先要知道控制LinuxOS的语言环境变量是$LANG和$LC_ALL,要解决乱码的情况我们只需要把上述的两个变量正确设置即可。

乱码分两种情况:

1、终端(纯shell界面)的乱码

vi/etc/profile

exportLC_ALL="zh_CN.GB18030:zh_CN.GB2312:zh_CN.GBK:zh_CN:en_US.UTF-8:en_US:en:zh:zh_TW:zh_CN.BIG5"

保存退出,reboot系统即可..

2、X-window(图形界面)的乱码

vi/etc/sysconfig/i18n

LANG="zh_CN.GB18030:zh_CN.GB2312:zh_CN.GBK:zh_CN:en_US.UTF-8:en_US:en:zh:zh_TW:zh_CN.BIG5"

LANGUAGE="zh_CN.GB18030:zh_CN.GB2312:zh_CN.GBK:zh_CN:en_US.UTF-8:en_US:en:zh:zh_TW:zh_CN.BIG5"

保存reboot即可...

由于中文的字符集编码很多,我自己也不是十分清楚彼此的兼容性如何,所以就尽可能的找了很多种不同的编码都写了上去,大家也可以自己筛选下,总的解决思路就是修改控制环境参数的变量,增加OS所支持的字符集(前提要内核上存在该字符,否则需要编译内核)...

正在开发的WEB系统是部署在REDHEAD。

RH版本信息：

LSBVersion::core-3.1-amd64:core-3.1-ia32:core-3.1-noarch:graphics-3.1-amd64:graphics-3.1-ia32:graphics-3.1-noarch

DistributorID:RedHatEnterpriseServer

Description:RedHatEnterpriseLinuxServerrelease5(Tikanga)

Release:5

Codename:Tikanga

-------------------------------

locale信息

LANG=zh_CN.UTF-8

LC_CTYPE="zh_CN.UTF-8"

LC_NUMERIC="zh_CN.UTF-8"

LC_TIME="zh_CN.UTF-8"

LC_COLLATE="zh_CN.UTF-8"

LC_MONETARY="zh_CN.UTF-8"

LC_MESSAGES="zh_CN.UTF-8"

LC_PAPER="zh_CN.UTF-8"

LC_NAME="zh_CN.UTF-8"

LC_ADDRESS="zh_CN.UTF-8"

LC_TELEPHONE="zh_CN.UTF-8"

LC_MEASUREMENT="zh_CN.UTF-8"

LC_IDENTIFICATION="zh_CN.UTF-8"

LC_ALL=

---------------------------------

因为程序目录有若干文件要读出来显示在页面上，文件名为中文名

我使用File.list()方法得到了文件名列表，可是显示出来的都是乱码。

newString(filename.getBytes("utf-8"),"GBK");

newString(filename.getBytes("iso-8859-1"),"GBK");

newString(filename.getBytes(),GBK");

都不起作用，

使用System.getProperty("file.encoding")得出的是"utf-8"

另外，使用ls命令查看的时候，是乱码，使用ls--show-control-chars命令就能显示中文名(控制台)

添加locale,估计你的系统不支持gbk字符集。

ubuntu下是vi/var/lib/locales/supported.d/local

加完后locale-gen一下,重新刷新字符集缓存。

如果你需要在Linux中操作windows下的文件，那么你可能会经常遇到文件编码转换的问题。Windows中默认的文件格式是GBK(gb2312)，而Linux一般都是UTF-8。下面介绍一下，在Linux中如何查看文件的编码及如何进行对文件进行编码转换。

一、查看文件编码：

在Linux中查看文件编码可以通过以下几种方式：

1、在Vim中可以直接查看文件编码

setfileencoding

即可显示文件编码格式。

如果你只是想查看其它编码格式的文件或者想解决用Vim查看文件乱码的问题，那么你可以在

~/.vimrc文件中添加以下内容：

setencoding=utf-8

fileencodings=ucs-bom,utf-8,cp936

这样，就可以让vim自动识别文件编码(可以自动识别UTF-8或者GBK编码的文件)，其实就是依照fileencodings提供的编码列表尝试，如果没有找到合适的编码，就用latin-1(ASCII)编码打开。

2、enca(如果你的系统中没有安装这个命令，可以用sudoyuminstall-yenca安装)查看文件编码

$encafilename

filename:Universaltransformationformat8bits;UTF-8

CRLFlineterminators

需要说明一点的是，enca对某些GBK编码的文件识别的不是很好，识别时会出现：

Unrecognizedencoding

二、文件编码转换

1.在Vim中直接进行转换文件编码,比如将一个文件转换成utf-8格式

:setfileencoding=utf-8

2.iconv转换，iconv的命令格式如下：

iconv-fencoding-tencodinginputfile

比如将一个UTF-8编码的文件转换成GBK编码

iconv-fGBK-tUTF-8file1-ofile2

3.enconv转换文件编码

比如要将一个GBK编码的文件转换成UTF-8编码，操作如下

enconv-Lzh_CN-xUTF-8filename

三、文件名编码转换:

从Linux往windows拷贝文件或者从windows往Linux拷贝文件，有时会出现中文文件名乱码的情况，出现这种问题的原因是因为，windows的文件名中文编码默认为GBK,而Linux中默认文件名编码为UTF8,由于编码不一致，所以导致了文件名乱码的问题，解决这个问题需要对文件名进行转码。

在Linux中专门提供了一种工具convmv进行文件名编码的转换，可以将文件名从GBK转换成UTF-8编码，或者从UTF-8转换到GBK。

首先看一下你的系统上是否安装了convmv，如果没安装的话用:

yum-yinstallconvmv安装。

下面看一下convmv的具体用法：

convmv-f源编码-t新编码[选项]文件名

常用参数：

-r递归处理子文件夹

–notest真正进行操作，请注意在默认情况下是不对文件进行真实操作的，而只是试验。

–list显示所有支持的编码

–unescap可以做一下转义，比如把%20变成空格

比如我们有一个utf8编码的文件名，转换成GBK编码，命令如下：

convmv-fUTF-8-tGBK–notestutf8编码的文件名

这样转换以后”utf8编码的文件名”会被转换成GBK编码(只是文件名编码的转换，文件内容不会发生变化)

四、vim编码方式的设置

和所有的流行文本编辑器一样，Vim可以很好的编辑各种字符编码的文件，这当然包括UCS-2、UTF-8等流行的Unicode编码方式。然而不幸的是，和很多来自Linux世界的软件一样，这需要你自己动手设置。

Vim有四个跟字符编码方式有关的选项，encoding、fileencoding、fileencodings、termencoding(这些选项可能的取值请参考Vim在线帮助:helpencoding-names)，它们的意义如下:

*encoding:Vim内部使用的字符编码方式，包括Vim的buffer(缓冲区)、菜单文本、消息文本等。默认是根据你的locale选择.用户手册上建议只在.vimrc中改变它的值，事实上似乎也只有在.vimrc中改变它的值才有意义。你可以用另外一种编码来编辑和保存文件，如你的vim的encoding为utf-8,所编辑的文件采用cp936编码,vim会自动将读入的文件转成utf-8(vim的能读懂的方式)，而当你写入文件时,又会自动转回成cp936(文件的保存编码).

*fileencoding:Vim中当前编辑的文件的字符编码方式，Vim保存文件时也会将文件保存为这种字符编码方式(不管是否新文件都如此)。

*fileencodings:Vim自动探测fileencoding的顺序列表，启动时会按照它所列出的字符编码方式逐一探测即将打开的文件的字符编码方式，并且将fileencoding设置为最终探测到的字符编码方式。因此最好将Unicode编码方式放到这个列表的最前面，将拉丁语系编码方式latin1放到最后面。

*termencoding:Vim所工作的终端(或者Windows的Console窗口)的字符编码方式。如果vim所在的term与vim编码相同，则无需设置。如其不然，你可以用vim的termencoding选项将自动转换成term的编码.这个选项在Windows下对我们常用的GUI模式的gVim无效，而对Console模式的Vim而言就是Windows控制台的代码页，并且通常我们不需要改变它。

五、Vim的多字符编码工作方式

1.Vim启动，根据.vimrc中设置的encoding的值来设置buffer、菜单文本、消息文的字符编码方式。

2.读取需要编辑的文件，根据fileencodings中列出的字符编码方式逐一探测该文件编码方式。并设置fileencoding为探测到的，看起来是正确的(注1)字符编码方式。

3.对比fileencoding和encoding的值，若不同则调用iconv将文件内容转换为encoding所描述的字符编码方式，并且把转换后的内容放到为此文件开辟的buffer里，此时我们就可以开始编辑这个文件了。注意，完成这一步动作需要调用外部的iconv.dll(注2)，你需要保证这个文件存在于$VIMRUNTIME或者其他列在PATH环境变量中的目录里。

4.编辑完成后保存文件时，再次对比fileencoding和encoding的值。若不同，再次调用iconv将即将保存的buffer中的文本转换为fileencoding所描述的字符编码方式，并保存到指定的文件中。同样，这需要调用iconv.dll由于Unicode能够包含几乎所有的语言的字符，而且Unicode的UTF-8编码方式又是非常具有性价比的编码方式(空间消耗比UCS-2小)，因此建议encoding的值设置为utf-8。这么做的另一个理由是encoding设置为utf-8时，Vim自动探测文件的编码方式会更准确(或许这个理由才是主要的。我们在中文Windows里编辑的文件，为了兼顾与其他软件的兼容性，文件编码还是设置为GB2312/GBK比较合适，因此fileencoding建议设置为chinese(chinese是个别名，在Unix里表示gb2312，在Windows里表示cp936，也就是GBK的代码页)。

以上就是关于Linux下文件中文乱码是如何处理的详细介绍，最后扣丁学堂的Linux培训课程从基础入门开始教，不论学员是否拥有基础在扣丁学堂都能顺利的学习，扣丁学堂不仅有专业的老师和与时俱进的课程体系，还有大量的Linux视频教程供学员观看学习，想要学好Linux开发的小伙伴快快行动吧。扣丁学堂Linux技术交流群：422345477。

【关注微信公众号获取更多学习资料】

查看更多关于“Linux培训资讯”的相关文章>>