---
title: Сборка пакета с препятствиями
tags: debian, school
---
Ниже описаны процесс сборки одного нестандартного пакета под дебиан, а также замечания по ходу сборки и возникших проблем.
Пакет который я пытался собрать - обучающая среда "КуМир", созданная нашими славными российскими разработчиками.
Представляет с собой что-то наподобие IDE - редактор с подсветкой синтаксиса, лексическим анализатором, отладчиком и несколькими "исполнителями". "Исполнитель" в данном случае - аналог разделяемой библиотеки.
---
debhelper - описание
--------------------
Основным способом сборки пакетов под deb-based дистрибутивы является сборка с помощью debhelper.
Это набор скриптов, призванных, в теории, упростить жизнь создателям и мейнтейнерам пакетов.
Прежде чем начать, прочитайте [руководство сборщика пакетов Debian](http://www.debian.org/doc/manuals/maint-guide/index.ru.html), хотя бы по диагонали, чтобы примерно представлять себе как с этим обращаться.
Технически, файлы описание пакета представляют собой кучу мелких файликов строго определенного формата в директории debian/ в корне пакета. Чтобы не создавать их вручную, воспользуйтесь ``dh_make`` - это развернет типовой шаблон для выбранного типа пакета.
tar -xzf kumir-1.7.3.2369.tar.gz
cd kumir-1.7.3
dh_make -f ../kumir-1.7.3.2369.tar.gz
<отвечаем на вопросы dh_make>
Нам выдается предупреждение, что пакет должен уметь устанавливаться в произвольную директорию определяемой переменной DESTDIR[^fn1]
Сразу после этого можно поудалять лишнее, чтобы не мозолило глаза.
Для данного пакета это будет так:
* changelog - меняется с помощью dch -i (от DebianChangelog --increase)
* compat - оставляем без изменений, служебный файл
* control - файл описания пакета: название, версия, лицензия, зависимости, зависимости для сборки, и т.д.
* copyright - это лицензия на вашу работу по "дебианизации" пакета
* docs - файлы в пакете, которые считаются документацией
* <del>emacsen-*.ex</del>
* <del>init.d.ex</del> - это не демон, нет необходимости запускать его при старте системы
* <del>kumir.default.ex</del> - параметры для init-скрипта
* <del>kumir.cron.d.ex</del> - приложение не должно выполняться системным планировщиком (cron)
* <del>kumir.doc-base.ex</del> - документацию к проекту нужно будет оформлять отдельно
* <del>manpage.*.ex</del> - у нас нет документации в формате manpage
* menu.ex - файл, добавляющий программу в меню DE
* post*.ex - скрипты, выполняющиеся после установки и удаления пакета
* <del>pre*.ex</del> - скрипты выполняющиеся до установки и перед удалением пакета,
* README.Debian
* README.source
* rules - этот файл отвечает за сам процесс сборки пакета
* source
* <del>watch.ex</del> - файл описания для системы слежения за появлением новых версий пакетов
О файле "rules" стоит упомянуть отдельно. По синтаксису - это обычный make-файл, но с фиксированными целями: ``binary binary-arch binary-indep build clean install``. При типичной сборке последовательность выполнения целей такова: ``build -> binary -> install``
В новых версиях этот файл по умолчанию содержит следующее:
#!/usr/bin/make -f
\%:
dh $@
При выполнении, эти правила (а \% + @$ говорят нам что это "неявные правила" (implicit rules)) разворачиваются вот так:
build:
dh build
binary:
dh binary
install:
dh install
"Но и это ещё не всё!" © dh - это на самом деле скрипт, который вызывает некоторую последовательность более низкоуровневых команд. (в документации он называется sequencer'ом). т.е. следующим шагом это развернётся так:
#!/usr/bin/make -f
\%:
dh $@
build:
dh_testdir
dh_auto_configure
dh_auto_build
dh_auto_test
binary:
dh_testroot
dh_prep
dh_installdirs
dh_auto_install
dh_install
dh_installdocs
dh_installchangelogs
dh_installexamples
dh_installcatalogs
dh_installdebconf
dh_installinfo
dh_pysupport
dh_installinit
dh_installmenu
dh_installmime
dh_installmodules
dh_installlogcheck
dh_installlogrotate
dh_installppp
dh_installwm
dh_installxfonts
dh_bugfiles
dh_lintian
dh_icons
dh_perl
dh_usrlocal
dh_link
dh_compress
dh_fixperms
dh_strip
dh_makeshlibs
dh_shlibdeps
dh_installdeb
dh_gencontrol
dh_md5sums
dh_builddeb
В свою очередь ``dh_*`` - это тоже скрипты, которые вызывают ещё более низкоуровневые команды, которые уже и выполняют, собственно, полезную работу.
Т.е мы имеем минимум 3 слоя абстракции в системе сборки. Вот [здесь](http://russian.joelonsoftware.com/Articles/LeakyAbstractions.html) есть хорошее чтиво на эту тему.
Система рассчитана опять же, на сборку сферичного пакета в вакууме. Но в реальности это не работает, обязательно всплывут какие-либо ньюансы™. Но пока что мы о них не знаем и только лишь рихтуем файл "control" примерно до такого состояния:
--- a/debian/control 2012-03-15 12:02:36.000000000 +1100
+++ b/debian/control 2012-03-16 14:25:15.000000000 +1100
@@ -1,15 +1,17 @@
Source: kumir
-Section: unknown
+Section: Education
Priority: extra
-Maintainer: unknown <user@vm9.test.lan>
-Build-Depends: debhelper (>= 7.0.50~)
+Maintainer: Alex 'AdUser' Z <ad_user@mail.ru>
+Build-Depends: dpatch, debhelper (>= 7.0.50~), qt4-qmake, libqt4-dev, libx11-dev, libxext-dev, python (>= 2.5),
Standards-Version: 3.8.4
-Homepage: <insert the upstream URL, if relevant>
-#Vcs-Git: git://git.debian.org/collab-maint/kumir.git
-#Vcs-Browser: http://git.debian.org/?p=collab-maint/kumir.git;a=summary
+Homepage: http://www.niisi.ru/kumir/
+Vcs-Svn: svn://lpm.org.ru/svn/kumir/branches/1.7/
+Vcs-Browser: http://lpm.org.ru/svn/kumir/
Package: kumir
-Architecture: any
-Depends: ${shlibs:Depends}, ${misc:Depends}
-Description: <insert up to 60 chars description>
- <insert long description, indented with spaces>
+Architecture: i386
+Depends: libqt4-core, libqt4-gui, libqt4-network, libqtscript4-core, libqt4-svg, libqt4-xml, libqt4-webkit, ${shlibs:Depends}, ${misc:Depends}
+Description: Kumir Language Implementation
+ Implementation of Kumir programming language, designed by academic Ershov.
+ Includes compiler, runtime, IDE, Robot and Draw.
+ Also includes addons: Turtle, Aquarius, Grasshopper.
Описания всех полей смотрите в документации по ссылке выше. Зависимости определяются по следующему алгоритму:
- ищем в исходниках список зависимостей указанный разработчиком
* смотрим в README/INSTALL/BUILD/...
* если нашли - ищем подобные пакеты через apt-cache/aptitude/synaptic/...
* ищем подобные пакеты, но с суффиксом "-dev"
- если программа собрана для другого дистрибутива
* смотрим зависимости там
* опять ищем подобные пакеты, как в предыдущем шаге
- прописываем то, что нашли - через запятую в поле "Depends" (а пакеты с суффиксом "-dev" - в Build-Depends)
- пробуем собрать пакет через ``dpkg-buildpackage -rfakeroot``
- если не собралось - смотрим, на чем остановились, и здесь уже гугл в помощь
- повторять предыдущий пункт пока не соберется
- всё что мы забыли - допишет в зависимости макрос ${shlibs:Depends}
debhelper - сборка
------------------
С теорией вроде разобрались, теперь посмотрим, как же нам всё-таки собрать конкретно этот пакет.
В корне директории есть configure.py и ссылка "configure" на него. Ага, начало стандартное[^fn2].
Здесь нас поджидают первые грабли, заботливо разложенные разработчиками - этот файл не исполняемый, т.е. ``./configure`` - не сработает. Запускать нужно явно, через ``python ./configure.py``
Вроде что-то отработало, попробуем дальше - ``make``. На этом этапе сборка может прерваться из-за неустановленных зависимостей. Но вроде тоже всё в порядке.
Пробуем последний этап: ``make DESTDIR=/tmp/ install`` и сборка валится с сообщением об отказе в доступе для "/usr/local". $DESTDIR не работает, плохо, придется разбираться в системе сборки и смотреть как это поправить.
В качестве системы сборки здесь используется qmake.
qmake
-----
Небольшое лирическое отступление. Зачем вообще нужен qmake? Дело в том, что Qt - это фреймворк и уже давно включает в себя модули на все случаи жизни. Эти модули периодически переписывают, добавляя новый функционал, убиряя устаревший, а иногда и и просто ради эстетичности и "красоты" кода. Так вот, qmake нужен, чтобы автоматически отслеживать зависимости и подставлять нужные флаги при линковке приложения.
Файлы описания проекта выглядят как куча файлов *.pro, раскиданная по дереву с исходниками.
Типовой файл выглядит примерно так (Kumir/Kumir.pro):
FORMS += Forms/ProgramTab.ui \
<пропущен список файлов>
Forms/multifilesavewizard.ui
HEADERS += Headers/strtypes.h \
<пропущен список файлов>
../TaskControl/csInterface.h
SOURCES += Sources/mainwindow.cpp \
<пропущен список файлов>
Sources/kummodules.cpp
TRANSLATIONS = Languages/english.ts \
Languages/russian.ts \
Languages/french.ts
TEMPLATE = app
DEPENDPATH += ../Libraries/kpython
INCLUDEPATH += Headers
INCLUDEPATH += ../
INCLUDEPATH += ../Libraries/kpython
INCLUDEPATH += ../Addons/protoModule
QT += xml \
script \
svg \
network\
webkit
RESOURCES += Resources/MainWindow.qrc \
Resources/Assistant.qrc
TARGET = kumir
macx:ICON=../app_icons/mac/kumir.icns
linux-g++: LIBS += -lX11
linux-g++64: LIBS += -lX11
include(../Scripts/common.pri)
unix:dummy.extra=python ../Scripts/install_kumir.py --spec=unix --prefix=$$PREFIX --kumir-dir=$$KUMIR_DIR
macx:dummy.extra=../Mac/Kumir/embed_macosx_resources.sh
win32:dummy.extra=python ../Scripts/install_kumir.py --spec=win32 --prefix=$$PREFIX --kumir-dir=$$KUMIR_DIR
dummy.path=./
INSTALLS = dummy
Следите за руками. Видимо, неосилив qmake в части установки целей средствами самого qmake, разработчики, недолго думая, написали скриптик на питоне, который это будет делать за qmake - install_kumir.py[^fn3]. Скриптик, естественно, ни про какой DESTDIR слыхом не слыхивал и вообще имел его ввиду.
Обратите внимание на "FORCE" и "dummy.extra". ".extra", как следует из документации, предназначен для выполнения **дополнительных** действий после установки, и использование его для самой установки противоречит "философии" qmake.
Чтение документации по qmake также показало, что существует местный аналог DESTDIR - INSTALL_ROOT, но его использование тоже не работает, из-за тех же "нескучных" питоновских скриптов.
Битва за $DESTDIR
-----------------
Что можно сделать?
- можно исправить строчку с вызовом питоновского скрипта на $$DESTDIR/$PREFIX. Неудачная идея. В выходном Makefile $$DESTDIR разворачивается и мы получаем неверный префикс для приложения.
- можно исправить параметр ".path", но этого тоже делать не стоит, скрипт просто не найдет нужного файла.
- наконец, можно исправить сам питоний скрипт, чтобы он учитывал, собака такая, наши пожелания.
Действуем по третьему варианту. Накладываем следующий патчик на Scripts/install_kumir.py:
--- src/Scripts/install_kumir.py 2012-03-20 21:23:59.628590648 +1100
+++ dst/Scripts/install_kumir.py 2012-03-20 21:24:56.186145954 +1100
@@ -1,5 +1,6 @@
#!/usr/bin/python
+import os
import sys
for arg in sys.argv:
@@ -14,6 +15,11 @@
if PREFIX=="": PREFIX="/usr/local"
if KUMIR_DIR=="": KUMIR_DIR = PREFIX+"/kumir"
+env = os.environ
+if env.has_key('DESTDIR'):
+ PREFIX = os.environ['DESTDIR']+PREFIX
+ KUMIR_DIR = os.environ['DESTDIR']+KUMIR_DIR
+
from install_generic import *
if SPEC=="unix":
В результате получим это:
#!/usr/bin/python
import os
import sys
for arg in sys.argv:
if arg.startswith("--prefix="):
PREFIX = arg[9:]
if arg.startswith("--spec="):
SPEC = arg[7:]
if arg.startswith("--kumir-dir="):
KUMIR_DIR = arg[12:]
if SPEC=="": SPEC="unix"
if PREFIX=="": PREFIX="/usr/local"
if KUMIR_DIR=="": KUMIR_DIR = PREFIX+"/kumir"
env = os.environ
if env.has_key('DESTDIR'):
PREFIX = os.environ['DESTDIR']+PREFIX
KUMIR_DIR = os.environ['DESTDIR']+KUMIR_DIR
from install_generic import *
if SPEC=="unix":
install_file("../kumir",KUMIR_DIR+"/kumir",True)
create_shell_link(KUMIR_DIR+"/kumir",PREFIX+"/bin/kumir")
elif SPEC=="win32":
install_file("../kumir.exe",KUMIR_DIR+"/kumir.exe",True)
install_dir("Config",KUMIR_DIR+"/Kumir")
install_dir("Environments",KUMIR_DIR+"/Kumir")
install_dir("Examples",KUMIR_DIR+"/Kumir")
install_dir("Help",KUMIR_DIR+"/Kumir")
install_dir("HyperText",KUMIR_DIR+"/Kumir")
install_dir("Macro",KUMIR_DIR+"/Kumir")
install_dir("PDScripts",KUMIR_DIR+"/Kumir")
install_dir("Languages",KUMIR_DIR+"/Kumir")
install_dir("Images/customwindow_pixmaps",KUMIR_DIR+"/Kumir")
if SPEC=="unix":
install_file("Images/kumir.png",
PREFIX+"/share/pixmaps/kumir.png",False)
install_file("X-Desktop/kumir.desktop",
PREFIX+"/share/applications/kumir.desktop",False)
Пробуем собрать и установить цель kumir:
cd Kumir
make
make DESTDIR=/tmp install
Работает! Обрабатываем по образу и подобию остальные скрипты ``Script/install_*.py``
Из-за нестандартного 'configure' разворачиваем ``dh build`` в ``debian/control`` и заменяем ``dh_auto_configure`` на наш вариант:
build:
dh_testdir
- dh_auto_configure
+ python ./configure.py --prefix=/usr --target-dir=/opt/kumir
dh_auto_build
dh_auto_test
"--target-dir" нужен, т.к. у нас нестандартное размещение бинарников, ресурсов и т.д., если его не указывать, всё поставится в ``/usr/kumir``[^fn4].
Пробуем собрать пакет ...успешно. :-)
Опять qmake
-----------
После успешной сборки, казалось бы можно перевести дух, но не тут-то было. Смотрим в содержимое пакета и помимо ожидаемых "opt" и "usr" видим также "home" с полным путем до места сборки и пустые директории для всех целей, которые он собирал. Непорядок, этого мусора в пакете быть не должно.
Возвращаемся к файлу проекта и внимательно смотрим на параметр ".path". Читаем документацию и выясняем, что в зависимости от его значения, он разворачивается по разному в выходном Makefile, что добавляет немного wtf'ака в процесс сборки. :-) Причем вышеупомянутый $INSTALL_ROOT подставляется ко всем устанавливаемым файлам неявно и автоматически (ещё один wtf'к).
extra.path = ./ -> /home/user/build/.../.../
extra.path = / -> /
У нас стоит "./" что и вызывает создание "home" в выходной директории. Исправление на "/" решило бы проблему, но этого делать нельзя, чтоб не поломать сборку под win и mac, починив сборку под *nix. Это тоже хак, и в идеале здесь должно быть что-то типа "$$PREFIX/bin", но чтобы сделать правильно, придётся переделать половину системы сборки для этого пакета.
Проблему решаем, добавив строчку "unix:extra.path = /", что будет применяться только для сборки под *nix, не затрагивая остальные системы. Этот «/» при установке будет дополнен питоновским скриптом до правильного пути.
Все изменения выше оформляем в виде патчей, складываем в debian/patches и переписываем имена патчей в debian/patches/series:
cp Scripts/install_kumir.py Scripts/install_kumir.py.old
nano Scripts/install_kumir.py
cd ..
diff -durN kumir-1.7.3/Scripts/install_kumir.py.old kumir-1.7.3/Scripts/install_kumir.py >> debian/patches/001-build.patch
echo 001-build.patch >> debian/patches/series
"После сборки - обработать напильником"
---------------------------------------
Ставим получившийся пакет и пробуем его запустить. Как бы не так.
Пробуем запустить из терминала - "Нет такого файла или каталога". Смотрим на файл /usr/bin/kumir и видим, что он представляет shell-скрипт, запускающий ``/home/user/build/.../.../opt/kumir/kumir``[^fn5]. Похоже, мы опять налажали с путями. Ищем место, где создается этот скрипт и находим его опять в ``install_kumir.py``
Ага, вот эти ребята:
if SPEC=="unix":
install_file("../kumir",KUMIR_DIR+"/kumir",True)
create_shell_link(KUMIR_DIR+"/kumir",PREFIX+"/bin/kumir")
Модифицируем скрипт так:
--- Scripts/install_kumir.py.old 2012-03-20 21:29:18.036593285 +1100
+++ Scripts/install_kumir.py 2012-03-20 21:30:17.976651480 +1100
@@ -17,6 +17,7 @@
env = os.environ
if env.has_key('DESTDIR'):
+ KUMIR_DIR_ORIG = KUMIR_DIR
PREFIX = os.environ['DESTDIR']+PREFIX
KUMIR_DIR = os.environ['DESTDIR']+KUMIR_DIR
@@ -24,7 +25,7 @@
if SPEC=="unix":
install_file("../kumir",KUMIR_DIR+"/kumir",True)
- create_shell_link(KUMIR_DIR+"/kumir",PREFIX+"/bin/kumir")
+ create_shell_link(KUMIR_DIR_ORIG+"/kumir",PREFIX+"/bin/kumir")
elif SPEC=="win32":
install_file("../kumir.exe",KUMIR_DIR+"/kumir.exe",True)
install_dir("Config",KUMIR_DIR+"/Kumir")
Пересобираем пакет, ставим, пробуем запустить. Теперь ругается на отсутствующий ``/opt/kumir/Addons/turtle.ini``. Прогресс, однако.
Ищем в документации, как в пакет можно положить дополнительные файлы, и находим - dh_install.
Разворачиваем ``dh binary``, заменяем вызов dh_install на следующий:
- dh_install
+ dh_install Addons/turtle.ini opt/kumir/Addons/
Обратите внимание, вторым аргументом указывается **директория**, в которую будет помещён файл.
Опять пересобираем пакет, ставим, запускаем, радуемся жизни.
Вот так это выглядит в запущенном виде: главное окно. FIXME (заливка файлов не работает)
Вместо заключения
-----------------
Чистого времени на сборку понадобилось ~ 3 вечера, один из которых я читал документацию. Сложность конкретно этого пакета оцениваю на 4 из 10. Замечания, дополнения, просьба оставлять в "обсуждении".
Но если учесть распространённость формата, время его появления и груз обратной совместимости - несмотря на недостатки он ещё долго будет в ходу.
[^fn1]: на самом деле она является стандартом "де-факто", в LSB она не описана
[^fn2]: опять же - стандарт "де-факто" для сборки из исходников - ``configure && make && make install``
[^fn3]: фирменные грабли №2
[^fn4]: фирменные грабли от разработчиков №3
[^fn5]: кстати, кто-нибудь объяснит мне, почему нельзя было обойтись простым симлинком?