Turn the CLEANTEST smokes into full blown CPAN-based installs with testing
Peter Rabbitson [Sun, 9 Dec 2012 05:25:10 +0000 (06:25 +0100)]
Not considering doing cpanreporting because the reporter installation itself
would violate the CLEANTEST idea

.travis.yml
maint/travis-ci_prepare_env

index 81f5e85..d074ff5 100644 (file)
@@ -9,12 +9,18 @@
 # attention of ribasushi. *DO NOT* disable 5.8 testing - it is here for a
 # reason
 #
-# * The matrix is built from two main modes - CLEANTEST = [true|false]. In
-# the first case we test with minimal deps available, and skip everything
-# listed in DBIC::OptDesps. Without CLEANTEST we bring the armada of RDBMS
-# and install the maximum possible set of deps and configs
+# * The matrix is built from two main modes - CLEANTEST = [true|false].
+# - In the first case we test with minimal deps available, and skip everything
+#   listed in DBIC::OptDesps. The modules are installed with classic CPAN
+#   invocations and are *fully tested*. In other words we simulate what would
+#   happen if a user tried to install on a just-compiled virgin perl
+# - Without CLEANTEST we bring the armada of RDBMS and install the maximum
+#   possible set of deps *without testing them*. This ensures we stay within
+#   a reasonable build-time and still run as many of our tests as possible
 #
-# * All builds/tests run under NUMTHREADS number of threads.
+# * The perl builds and the DBIC tests run under NUMTHREADS number of threads.
+# The testing of dependencies under CLEANTEST runs single-threaded, at least
+# until we fix our entire dep-chain to safely pass under -j
 #
 # * The way .travis.yml is fed to the command controller is idiotic - it
 # makes using multiline `bash -c` statements impossible. Therefore to
@@ -76,6 +82,13 @@ matrix:
         - BREWOPTS=""
         - BREWVER=5.8.3
 
+    # check CLEANTEST of minimum supported
+    - perl: 5.8.3_nt_mb
+      env:
+        - CLEANTEST=true
+        - BREWOPTS="-Dusemorebits"
+        - BREWVER=5.8.3
+
     # this is the perl suse ships
     - perl: 5.10.0_thr_dbg
       env:
index bed922d..e765094 100755 (executable)
@@ -125,19 +125,6 @@ parallel_installdeps_notest() {
     "echo $MODLIST | xargs -n 1 -P $NUMTHREADS cpanm --verbose --no-interactive --notest --no-man-pages"
 }
 
-# Install *hard dep* modules that typically appear in more than one dep
-#
-# *NEVER* add optional depenencies here - will make CLEANTEST=true smokes useless
-#
-# do it in several passes to minimize amount of cross-deps installing multiple
-# times, and to avoid module re-architecture breaking another install
-# (e.g. once Carp is upgraded there's no more Carp::Heavy)
-#
-parallel_installdeps_notest $(extract_prereqs Module::Build)
-parallel_installdeps_notest Test::Exception Test::Fatal Module::Runtime Carp
-parallel_installdeps_notest Sub::Name multidimensional namespace::clean Class::XSAccessor MRO::Compat
-parallel_installdeps_notest DBI Moo Class::Accessor::Grouped
-
 if [[ "$CLEANTEST" = "true" ]]; then
   # get the last inc/ off cpan - we will get rid of MI
   # soon enough, but till then this will do
@@ -151,9 +138,23 @@ if [[ "$CLEANTEST" = "true" ]]; then
 
   mv ~/.cpanm/latest-build/DBIx-Class-*/inc .
 else
-  # we will be running all tests - preinstall MOAR stuff, run basic tests using SQLT
-  # and set up whatever databases necessary
-  parallel_installdeps_notest Module::Install DateTime::Format::Strptime MooseX::Types JSON::Any Class::DBI
+  # we will be running all dbic tests - preinstall lots of stuff, run basic tests
+  # using SQLT and set up whatever databases necessary
+
+  # do the preinstall in several passes to minimize amount of cross-deps installing
+  # multiple times, and to avoid module re-architecture breaking another install
+  # (e.g. once Carp is upgraded there's no more Carp::Heavy)
+  #
+  parallel_installdeps_notest ExtUtils::MakeMaker
+  parallel_installdeps_notest Module::Build Carp
+  parallel_installdeps_notest Module::Runtime ExtUtils::Depends File::Spec
+  parallel_installdeps_notest Test::Exception Data::Dumper LWP
+  parallel_installdeps_notest Test::Fatal Test::Warn bareword::filehandles
+  parallel_installdeps_notest namespace::clean Class::XSAccessor MRO::Compat
+  parallel_installdeps_notest DBD::SQLite Moo Class::Accessor::Grouped
+  parallel_installdeps_notest Module::Install DateTime::Format::Strptime
+  parallel_installdeps_notest JSON::DWIW JSON JSON::XS Test::Pod::Coverage Test::EOL
+  parallel_installdeps_notest MooseX::Types JSON::Any Class::DBI
 
   export DBICTEST_SQLT_DEPLOY=1
 
@@ -245,17 +246,86 @@ else
   #ORACLE_HOME=/usr/lib/oracle/xe/app/oracle/product/10.2.0/client
 fi
 
-# generate the makefile which will have different deps depending on
-# the runmode and envvars set above
-run_or_err "Configure on current branch" "perl Makefile.PL"
+CPAN_is_sane() { perl -MCPAN\ 1.94_56 -e 1 &>/dev/null ; }
+
+# install the rest
+if [[ "$CLEANTEST" = "true" ]]; then
+  # older perls do not have a CPAN which understands configure_requires
+  # properly and what is worse a `cpan Foo` run exits with 0 even if some
+  # modules failed to install
+  # The first CPAN which is somewhat sane is around 1.94_56 (perl 5.12)
+  # The problem is that the first sane version also brings a *lot* of
+  # deps with it, notably things like YAML and HTTP::Tiny
+  # The goal of CLEANTEST is to have as little extra stuff installed as
+  # possible, mainly to catch "but X is perl core" mistakes
+  # So instead we still use our stock (possibly old) CPAN, and add some
+  # handholding
+
+  CPAN_is_sane || \
+    run_or_err "Pre-installing ExtUtils::MakeMaker and Module::Build" \
+      "cpan ExtUtils::MakeMaker Module::Build"
+
+  if ! perl -MModule::Build -e 1 &> /dev/null ; then
+    echo_err -e "Module::Build installation failed\n$LASTOUT"
+    exit 1
+  fi
+
+  # DBI has by far the longest test runtime - run less tests
+  # FIXME horrible horrible hack, need to implement in DBI itself
+  run_or_err "Downloading latest DBI distdir from CPAN" \
+    "SHELL=/bin/true cpanm --look DBI"
+  cd ~/.cpanm/latest-build/DBI-*/
+  perl -p -i -e 's/(create_.+?_tests) => 1/$1 => 0/' Makefile.PL
+  run_or_err "Pre-installing DBI, but running less tests" "perl Makefile.PL && make && make test && make install"
+  cd - &>/dev/null
+
+  # generate the makefile which will have different deps depending on
+  # the runmode and envvars set above
+  run_or_err "Configure on current branch" "perl Makefile.PL"
+  HARD_DEPS="$(echo $(make listdeps))"
+
+  # this is a fucked CPAN - won't understand configure_requires of
+  # various pieces we may run into
+  CPAN_is_sane || HARD_DEPS="ExtUtils::Depends B::Hooks::OP::Check $HARD_DEPS"
+
+##### TEMPORARY WORKAROUNDS
+
+  # not sure what's going on here yet
+  perl -M5.008008 -e 1 &> /dev/null || \
+    parallel_installdeps_notest multidimensional bareword::filehandles
+
+  # work around Params::Validate not having a Makefile.PL so really old
+  # toolchains can not figure out what the prereqs are ;(
+  # Need to do more research before filing a bug requesting Makefile inclusion
+  perl -M5.008008 -e 1 &> /dev/null || \
+    HARD_DEPS="$(extract_prereqs Params::Validate) $HARD_DEPS"
+
+##### END TEMPORARY WORKAROUNDS
+
+  run_or_err "Installing/testing dependencies (may take up to 10 minutes): $HARD_DEPS" "cpan $HARD_DEPS"
+
+  # this is a fucked CPAN - save the log as we may need it
+  CPAN_is_sane || INSTALLDEPS_OUT="$LASTOUT"
+
+else
+  # generate the makefile which will have different deps depending on
+  # the runmode and envvars set above
+  run_or_err "Configure on current branch" "perl Makefile.PL"
+
+  # listalldeps is deliberate - will upgrade everything it can find
+  parallel_installdeps_notest $(make listalldeps)
+fi
 
-# install the remaining dependencies
-parallel_installdeps_notest $(make listalldeps)
+echo_err "$(tstamp) Module configuration finished"
+# this will display list of available versions
+perl Makefile.PL
 
 # make sure we got everything we need
-perl Makefile.PL &> /dev/null
 if [[ -n "$(make listdeps)" ]] ; then
   echo_err "$(tstamp) Not all deps installed - something went wrong :("
+  sleep 1 # without this the echo below confuses the console listener >.<
+  CPAN_is_sane || echo_err -e "Outdated CPAN.pm used - full logs follows\n$INSTALLDEPS_OUT\n\nSearch for 'NOT OK' in the text above\n\nDeps still missing:"
+  sleep 3 # without this the above echo confuses the console listener >.<
   make listdeps
   exit 1
 fi
@@ -265,7 +335,7 @@ run_or_err "Prepare blib" "make pure_all"
 # announce what are we running
 echo_err "
 ========================= CONFIGURATION COMPLETE ===========================
-Configuration phase seems to have taken $(date -ud "@$SECONDS" '+%H:%M:%S') (@$SECONDS)
+$(tstamp) Configuration phase seems to have taken $(date -ud "@$SECONDS" '+%H:%M:%S') (@$SECONDS)
 
 = CPUinfo
 $(perl -0777 -p -e 's/.+\n\n(?!\z)//s' < /proc/cpuinfo)