2020年02月26日 | Python2.5.4移植到arm-linux

1 移植需求

需求：在Arm9上运行python2.5.4。

ARM Target环境：

S3C2410A & arm-linux-2.4.18，和 AT91SAM9261 & arm-linux-2.6.20。

host编译环境：

RHEL5U3, gcc 4.1.2, arm-linux-gcc 2.95.3，arm-linux-gcc 3.4.4

需要cross compile的软件包：

sqlite 3.6.14, python 2.5.4, boa-0.94.13.

2 交叉编译sqlite

先到 http://www.sqlite.org/download.html 下载最新的sqlite源代码，我这里用的是3.6.14版本。

推荐使用amalgamation版本的源代码，这个代码只有几个文件而已，编译起来方便，而且据说编译器好的话，还可能编译出更高效的代码。我下载的是

http://www.sqlite.org/sqlite-amalgamation-3.6.14.tar.gz

先运行以下几步：

tar zxf sqlite-amalgamation-3.6.14.tar.gz

cd sqlite-3.6.14

（arm-linux-gcc version 3.4.4:）

./configure --host=arm-linux --prefix=/usr/local/arm/3.4.4 --enable-shared --disable-readline --disable-dynamic-extensions

（arm-linux-gcc version 2.95.3:）

./configure --host=arm-linux --prefix=/usr/local/arm/2.95.3 --enable-shared --disable-readline --disable-dynamic-extensions

以上是把sqlite解压缩，然后做一些配置，这里，希望sqlite到时候安装到/usr/local/arm/3.4.4里，要生成动态链接库，不要readline，不要sqlite的动态扩展。 sqlite到时候安装到/usr/local/arm/3.4.4里。

如果要做进文件系统，则作如下设置：

（arm-linux-gcc version 3.4.4:）

./configure --host=arm-linux --prefix=$(pwd)/_install_gcc3 --enable-shared --disable-readline --disable-dynamic-extensions

（arm-linux-gcc version 2.95.3:）

./configure --host=arm-linux --prefix=$(pwd)/_install_gcc2 --enable-shared --disable-readline --disable-dynamic-extensions

然后编辑Makefile，把CFLAGS和CXXFLAGS中的-g去掉，我们不用debug sqlite。

接下来就可以编译和安装sqlite了：

make

make install

3 交叉编译python

3.1 下载

先去http://www.python.org/download/下载最新版本的python源代码，我这里下载的是：

http://www.python.org/ftp/python/2.5.4/Python-2.5.4.tgz

3.2 编译并安装pc版本

交叉编译，也需要HOST机上的python版本为2.5.4，执行如下命令：

tar -zxvf Python-2.5.4.gz

cd Python-2.5.4

make clean

./configure --prefix=/usr

make

make install

3.3 编译pc版本的语法解析器

由于在编译python的时候，需要先编译一个叫pgen的程序出来，用于生成语法解析器，所以要先生成一个pc版本的pgen：

mkdir build.pc

cd build.pc

../configure

make Parser/pgen

然后ls Parser一下，应该就能看到有pgen了。

3.4 Arm-linux-gcc-3.4.4版本编译

3.4.1 修改和运行configure

configure在检测编译器的printf是否支持%zd的时候，如果发现是在cross compile，就直接不干活了。这还了得？

把这一部分的检测代码去掉。这段代码起始于：

echo "asme:asme:LINENO: checking for %zd printf() format support" >&5

echo ECHON"checkingforECHON"checkingforECHO_C" >&6

if test "$cross_compiling" = yes; then

结束于：

cat >>confdefs.h <

#define PY_FORMAT_SIZE_T "z"

_ACEOF

else

  echo "asme:programexitedwithstatusasme:programexitedwithstatusac_status" >&5

echo "$as_me: failed program was:" >&5

sed 's/^/| /' conftest.$ac_ext >&5

( exit $ac_status )

echo "asme:asme:LINENO: result: no" >&5

echo "${ECHO_T}no" >&6

fi

rm -f core *.core gmon.out bb.out conftestacexeextconftest.acexeextconftest.ac_objext conftest.$ac_ext

fi

把这两段以及中间的内容都删除掉就可以了。

有了语法解析器，就可以开始编译arm版本的python了。

（arm-linux-gcc version 3.4.4:）

cd ..

./configure --prefix=$(pwd)/_install_gcc3 --disable-ipv6 --host=arm-linux --enable-shared

./configure --prefix=/usr/ztian/_install_gcc3 --disable-ipv6 --host=arm-linux --enable-shared

3.4.2 修改Makefile

之后就要对Makefile做一些修改：

（1）把

# OPT=            -DNDEBUG -g -O3 -Wall -Wstrict-prototypes

OPT=        -DNDEBUG -g -fwrapv -O3 -Wall -Wstrict-prototypes

一行中，去掉-g，我们不要debug python，-O3改为-O2，空间紧张O2就可以了。

（2）在：

PGEN=           Parser/pgen$(EXE)

一行的下面加上：

# PGEN_HOST=      ../build.pc/Parser/pgen$(EXE)

PGEN_HOST=      build.pc/Parser/pgen$(EXE)

表明我们在HOST上运行的pgen。

（3）在要使用PGEN的地方改为PGEN_HOST：

(GRAMMARH)(GRAMMARH)(GRAMMAR_C): (PGEN)(PGEN)(GRAMMAR_INPUT)

                -(PGEN)(PGEN)(GRAMMAR_INPUT) (GRAMMARH)(GRAMMARH)(GRAMMAR_C)

改为：

(GRAMMARH)(GRAMMARH)(GRAMMAR_C): (PGEN)(PGEN)(GRAMMAR_INPUT)

                -(PGENHOST)(PGENHOST)(GRAMMAR_INPUT) (GRAMMARH)(GRAMMARH)(GRAMMAR_C)

（4）修改所有使用新生成的python的地方。

所有如./$(BUILDPYTHON)的地方，都改为python，如：

platform: $(BUILDPYTHON)

        (RUNSHARED)./(RUNSHARED)./(BUILDPYTHON) -E -c 'import sys ; from distutils.util import get_platform ; print get_platform()+"-"+sys.version[0:3]' >platform

改为：

platform: $(BUILDPYTHON)

        $(RUNSHARED)  python  -E -c 'import sys ; from distutils.util import get_platform ; print get_platform()+"-"+sys.version[0:3]' >platform

这种地方比较多，共11处，需小心修改。

3.4.3 修改setup.py

setup.py负责编译python的各个扩展模块。但是，由于python完全没有考虑cross compile，所以要做一些修改。

PyBuildExt类：

build_extension函数：

这个函数在编译了所有的extension后，会去load这些刚编译好的extension，但我们在i686的电脑上显然不能load，所以要跳过这些操作。在 build_ext.build_extension(self, ext)后面直接写一个return，不做load。

detect_modules函数：

函数的前两行是把/usr/local加到搜索目录中，我们的cross compiler一般不会直接安装在 /usr/local里面的，所以这两行去掉：

        add_dir_to_list(self.compiler.library_dirs, '/usr/local/lib')

        add_dir_to_list(self.compiler.include_dirs, '/usr/local/include')

lib_dirs, inc_dirs的设定中，把中括号里的那些都去掉。以下所有模块都不要：

cmath, _ctypes, _testcapi, pwd, grp, spwd, mmap, audioop, imageop, rgbimg, readline,ssl, openssl, bdb, dbm, termios, nsl, ncurses, bz2, linuxaudiodev, ossaudiodev, _tkinter

由于python本身的问题，现在ctypes还不能在除i386以外的机器上运行，所以ctypes也去掉：

disabled_module_list = ['cmath', '_ctypes', '_testcapi', 'pwd', 'grp', 'spwd', 'mmap', 'audioop', 'imageop', 'rgbimg', 'readline','ssl', 'openssl', 'bdb', 'dbm', 'termios', 'nsl', 'ncurses', 'bz2', 'linuxaudiodev', 'ossaudiodev', '_tkinter']

编译sqlite的地方：

for d in inc_dirs + sqlite_inc_paths:

改为：

for d in ['/usr/local/arm/3.4.4/include']:

因为sqlite3安装在这里，如果这里不改的话，setup.py会在我的电脑上找sqlite

main函数：

setup函数调用的时候，把要安装的scripts那一部分去掉

之后就可以make && make install了。

make

make install

3.5 Arm-linux-gcc-2.95.3版本编译

3.5.1 修改和运行configure

arm-linux-gcc version 2.95.3:

cd ..

./configure --prefix=$(pwd)/_install_gcc2 --disable-ipv6 --host=arm-linux --enable-shared

3.5.2    修改Makefile

之后就要对Makefile做一些修改，把

# OPT=            -DNDEBUG -g -O3 -Wall -Wstrict-prototypes

OPT=        -DNDEBUG -g -fwrapv -O3 -Wall -Wstrict-prototypes

一行中，去掉-g，我们不要debug python，-O3改为-O2，空间紧张O2就可以了。 -fwrapv

在

PGEN=           Parser/pgen$(EXE)

一行的下面加上

# PGEN_HOST=      ../build.pc/Parser/pgen$(EXE)

PGEN_HOST=      build.pc/Parser/pgen$(EXE)

表明我们在HOST上运行的pgen

在要使用PGEN的地方改为PGEN_HOST:

(GRAMMARH)(GRAMMARH)(GRAMMAR_C): (PGEN)(PGEN)(GRAMMAR_INPUT)

                -(PGEN)(PGEN)(GRAMMAR_INPUT) (GRAMMARH)(GRAMMARH)(GRAMMAR_C)

改为：

(GRAMMARH)(GRAMMARH)(GRAMMAR_C): (PGEN)(PGEN)(GRAMMAR_INPUT)

                -(PGENHOST)(PGENHOST)(GRAMMAR_INPUT) (GRAMMARH)(GRAMMARH)(GRAMMAR_C)

修改所有使用新生成的python的地方。

所有如 ./$(BUILDPYTHON) 的地方，都改为python

如：

platform: $(BUILDPYTHON)

        (RUNSHARED)./(RUNSHARED)./(BUILDPYTHON) -E -c 'import sys ; from distutils.util import get_platform ; print get_platform()+"-"+sys.version[0:3]' >platform

改为：

platform: $(BUILDPYTHON)

        $(RUNSHARED)  python  -E -c 'import sys ; from distutils.util import get_platform ; print get_platform()+"-"+sys.version[0:3]' >platform

这种地方比较多，共11处，需小心修改。

3.5.3 修改setup.py

setup.py负责编译python的各个扩展模块。但是，由于python完全没有考虑cross compile，所以要做一些修改。

PyBuildExt类：

build_extension函数：

这个函数在编译了所有的extension后，会去load这些刚编译好的extension，但我们在i686的电脑上显然不能load，所以要跳过这些操作。在 build_ext.build_extension(self, ext)后面直接写一个return，不做load。

detect_modules函数：

函数的前两行是把/usr/local加到搜索目录中，我们的cross compiler一般不会直接安装在 /usr/local里面的，所以这两行去掉：

        add_dir_to_list(self.compiler.library_dirs, '/usr/local/lib')

        add_dir_to_list(self.compiler.include_dirs, '/usr/local/include')

lib_dirs, inc_dirs的设定中，把中括号里的那些都去掉。以下所有模块都不要：

cmath, _ctypes, _testcapi, pwd, grp, spwd, mmap, audioop, imageop, rgbimg, readline, ssl, openssl, bdb, dbm, termios, nsl, ncurses, bz2, linuxaudiodev, ossaudiodev, tkinter

由于python本身的问题，现在ctypes还不能在除i386以外的机器上运行，所以ctypes也去掉:

disabled_module_list = ['cmath', '_ctypes', '_testcapi', 'pwd', 'grp', 'spwd', 'mmap', 'audioop', 'imageop', 'rgbimg', 'readline','ssl', 'openssl', 'bdb', 'dbm', 'termios', 'nsl', 'ncurses', 'bz2', 'linuxaudiodev', 'ossaudiodev', '_tkinter']

编译sqlite的地方：

for d in inc_dirs + sqlite_inc_paths:

改为：

for d in ['/usr/local/arm/2.95.3/include']:

因为我的sqlite3安装在这里，如果这里不改的话，setup.py会在我的电脑上找sqlite

main函数：

setup函数调用的时候，把要安装的scripts那一部分去掉

之后就可以make && make install了。

#make       

make install

其实到 make 这一步通不过，可能是python2.5.4对gcc的版本要求较高，不支持Arm-linux-gcc-2.95.3，所以前面这些工作大概是白废，如果有哪位牛人编译通过了，麻烦告知小弟，感激不尽。

4 文件系统的移植

4.1 更新文件系统

执行# make install后，python会被复制到_install_gcc3目录下，将_install_gcc3目录下的bin目录和lib目录下的所有文件分别复制到S3C2410A & arm-linux-2.4.18文件系统的/bin目录和/lib目录下：

# cp –a bin/* /bin/

# cp –a lib/* /lib/

这样文件系统即被安装到arm-linux下。

4.1.1 更新S3C2410A & arm-linux-2.4.18的lib文件

对于S3C2410A & arm-linux-2.4.18，lib文件都是arm-linux-gcc-2.95.3对应的库文件，此时运行python会提示找不到glibc2.3：

python: /lib/libc.so.6: version `GLIBC_2.3' not found (required by /usr/lib/lib)

需要拷贝arm-linux-gcc-3.4.4库文件中的以下6个文件到 ARM板文件系统/lib目录下：

libc.so.6, libc-2.3.5.so,

ld-2.3.5.so, ld-linux.so.2,

libpthread.so.0, libpthread-0.10.so

过程记录如下：

[/u@/h /W]/$ cp /usr/lib_g3/libc-2.3.5.so /lib/

[/u@/h /W]/$ python

python: /lib/libc.so.6: version `GLIBC_2.3' not found (required by /usr/lib/lib)

[/u@/h /W]/$ cp -a /usr/lib_g3/libc.so.6 /lib/        

[/u@/h /W]/$ python

python: /lib/ld-linux.so.2: version `GLIBC_PRIVATE' not found (required by /lib)

[/u@/h /W]/$ cp -a /usr/lib_g3/ld-2.3.5.so /lib/

[/u@/h /W]/$ python

python: /lib/ld-linux.so.2: version `GLIBC_PRIVATE' not found (required by /lib)

[/u@/h /W]/$ cp -a /usr/lib_g3/ld-linux.so.2 /lib/