lib/Catalyst/Manual/Tutorial/08_Testing.pod

   1 =head1 NAME
   2
   3 Catalyst::Manual::Tutorial::08_Testing - Catalyst Tutorial - Chapter 8: Testing
   4
   5
   6 =head1 OVERVIEW
   7
   8 This is B<Chapter 8 of 10> for the Catalyst tutorial.
   9
  10 L<Tutorial Overview|Catalyst::Manual::Tutorial>
  11
  12 =over 4
  13
  14 =item 1
  15
  16 L<Introduction|Catalyst::Manual::Tutorial::01_Intro>
  17
  18 =item 2
  19
  20 L<Catalyst Basics|Catalyst::Manual::Tutorial::02_CatalystBasics>
  21
  22 =item 3
  23
  24 L<More Catalyst Basics|Catalyst::Manual::Tutorial::03_MoreCatalystBasics>
  25
  26 =item 4
  27
  28 L<Basic CRUD|Catalyst::Manual::Tutorial::04_BasicCRUD>
  29
  30 =item 5
  31
  32 L<Authentication|Catalyst::Manual::Tutorial::05_Authentication>
  33
  34 =item 6
  35
  36 L<Authorization|Catalyst::Manual::Tutorial::06_Authorization>
  37
  38 =item 7
  39
  40 L<Debugging|Catalyst::Manual::Tutorial::07_Debugging>
  41
  42 =item 8
  43
  44 B<08_Testing>
  45
  46 =item 9
  47
  48 L<Advanced CRUD|Catalyst::Manual::Tutorial::09_AdvancedCRUD>
  49
  50 =item 10
  51
  52 L<Appendices|Catalyst::Manual::Tutorial::10_Appendices>
  53
  54 =back
  55
  56
  57 =head1 DESCRIPTION
  58
  59 You may have noticed that the Catalyst Helper scripts automatically
  60 create basic C<.t> test scripts under the C<t> directory.  This
  61 chapter of the tutorial briefly looks at how these tests can be used
  62 not only to ensure that your application is working correctly at the
  63 present time, but also provide automated regression testing as you
  64 upgrade various pieces of your application over time.
  65
  66 You can check out the source code for this example from the Catalyst
  67 Subversion repository as per the instructions in
  68 L<Catalyst::Manual::Tutorial::01_Intro>.
  69
  70 For an excellent introduction to learning the many benefits of testing
  71 your Perl applications and modules, you might want to read 'Perl Testing:
  72 A Developer's Notebook' by Ian Langworth and chromatic.
  73
  74
  75 =head1 RUNNING THE "CANNED" CATALYST TESTS
  76
  77 There are a variety of ways to run Catalyst and Perl tests (for example,
  78 C<perl Makefile.PL> and C<make test>), but one of the easiest is with the
  79 C<prove> command.  For example, to run all of the tests in the C<t>
  80 directory, enter:
  81
  82     $ prove -wl t
  83
  84 There will be a lot of output because we have the C<-Debug> flag
  85 enabled in C<lib/MyApp.pm> (see the C<CATALYST_DEBUG=0> tip below for
  86 a quick and easy way to reduce the clutter).  Look for lines like this
  87 for errors:
  88
  89     #   Failed test 'Request should succeed'
  90     #   at t/controller_Books.t line 8.
  91     # Looks like you failed 1 test of 3.
  92
  93 The redirection used by the Authentication plugins will cause several
  94 failures in the default tests.  You can fix this by making the following
  95 changes:
  96
  97 1) Change the line in C<t/01app.t> that reads:
  98
  99     ok( request('/')->is_success, 'Request should succeed' );
 100
 101 to:
 102
 103     ok( request('/login')->is_success, 'Request should succeed' );
 104
 105 2) Change the line in C<t/controller_Logout.t> that reads:
 106
 107     ok( request('/logout')->is_success, 'Request should succeed' );
 108
 109 to:
 110
 111     ok( request('/logout')->is_redirect, 'Request should succeed' );
 112
 113 3) Change the line in C<t/controller_Books.t> that reads:
 114
 115     ok( request('/books')->is_success, 'Request should succeed' );
 116
 117 to:
 118
 119     ok( request('/books')->is_redirect, 'Request should succeed' );
 120
 121 4) Add the following statement to the top of C<t/view_TT.t>:
 122
 123     use MyApp;
 124
 125 As you can see in the C<prove> command line above, the C<--lib> option
 126 is used to set the location of the Catalyst C<lib> directory.  With this
 127 command, you will get all of the usual development server debug output,
 128 something most people prefer to disable while running tests cases.
 129 Although you can edit the C<lib/MyApp.pm> to comment out the C<-Debug>
 130 plugin, it's generally easier to simply set the C<CATALYST_DEBUG=0>
 131 environment variable.  For example:
 132
 133     $ CATALYST_DEBUG=0 prove -wl t
 134
 135 During the C<t/02pod> and C<t/03podcoverage> tests, you might notice the
 136 C<all skipped: set TEST_POD to enable this test> warning message.  To
 137 execute the Pod-related tests, add C<TEST_POD=1> to the C<prove>
 138 command:
 139
 140     $ CATALYST_DEBUG=0 TEST_POD=1 prove -wl t
 141
 142 If you omitted the Pod comments from any of the methods that were
 143 inserted, you might have to go back and fix them to get these tests to
 144 pass. :-)
 145
 146 Another useful option is the C<verbose> (C<-v>) option to C<prove>.  It
 147 prints the name of each test case as it is being run:
 148
 149     $ CATALYST_DEBUG=0 TEST_POD=1 prove -vwl t
 150
 151
 152 =head1 RUNNING A SINGLE TEST
 153
 154 You can also run a single script by appending its name to the C<prove>
 155 command. For example:
 156
 157     $ CATALYST_DEBUG=0 prove -wl t/01app.t
 158
 159 Also note that you can also run tests directly from Perl without C<prove>.
 160 For example:
 161
 162     $ CATALYST_DEBUG=0 perl -w -Ilib t/01app.t
 163
 164
 165 =head1 ADDING YOUR OWN TEST SCRIPT
 166
 167 Although the Catalyst helper scripts provide a basic level of checks
 168 "for free," testing can become significantly more helpful when you write
 169 your own script to exercise the various parts of your application.  The
 170 L<Test::WWW::Mechanize::Catalyst> module
 171 is very popular for writing these sorts of test cases.  This module
 172 extends L<Test::WWW::Mechanize> (and therefore
 173 L<WWW::Mechanize>) to allow you to automate the action of
 174 a user "clicking around" inside your application.  It gives you all the
 175 benefits of testing on a live system without the messiness of having to
 176 use an actual web server, and a real person to do the clicking.
 177
 178 To create a sample test case, open the C<t/live_app01.t> file in your
 179 editor and enter the following:
 180
 181     #!/usr/bin/perl
 182
 183     use strict;
 184     use warnings;
 185     use Test::More;
 186
 187     # Need to specify the name of your app as arg on next line
 188     # Can also do:
 189     #   use Test::WWW::Mechanize::Catalyst "MyApp";
 190
 191     BEGIN { use_ok("Test::WWW::Mechanize::Catalyst" => "MyApp") }
 192
 193     # Create two 'user agents' to simulate two different users ('test01' & 'test02')
 194     my $ua1 = Test::WWW::Mechanize::Catalyst->new;
 195     my $ua2 = Test::WWW::Mechanize::Catalyst->new;
 196
 197     # Use a simplified for loop to do tests that are common to both users
 198     # Use get_ok() to make sure we can hit the base URL
 199     # Second arg = optional description of test (will be displayed for failed tests)
 200     # Note that in test scripts you send everything to 'http://localhost'
 201     $_->get_ok("http://localhost/", "Check redirect of base URL") for $ua1, $ua2;
 202     # Use title_is() to check the contents of the <title>...</title> tags
 203     $_->title_is("Login", "Check for login title") for $ua1, $ua2;
 204     # Use content_contains() to match on text in the html body
 205     $_->content_contains("You need to log in to use this application",
 206         "Check we are NOT logged in") for $ua1, $ua2;
 207
 208     # Log in as each user
 209     # Specify username and password on the URL
 210     $ua1->get_ok("http://localhost/login?username=test01&password=mypass", "Login 'test01'");
 211     # Could make user2 like user1 above, but use the form to show another way
 212     $ua2->submit_form(
 213         fields => {
 214             username => 'test02',
 215             password => 'mypass',
 216         });
 217
 218     # Go back to the login page and it should show that we are already logged in
 219     $_->get_ok("http://localhost/login", "Return to '/login'") for $ua1, $ua2;
 220     $_->title_is("Login", "Check for login page") for $ua1, $ua2;
 221     $_->content_contains("Please Note: You are already logged in as ",
 222         "Check we ARE logged in" ) for $ua1, $ua2;
 223
 224     # 'Click' the 'Logout' link (see also 'text_regex' and 'url_regex' options)
 225     $_->follow_link_ok({n => 4}, "Logout via first link on page") for $ua1, $ua2;
 226     $_->title_is("Login", "Check for login title") for $ua1, $ua2;
 227     $_->content_contains("You need to log in to use this application",
 228         "Check we are NOT logged in") for $ua1, $ua2;
 229
 230     # Log back in
 231     $ua1->get_ok("http://localhost/login?username=test01&password=mypass", "Login 'test01'");
 232     $ua2->get_ok("http://localhost/login?username=test02&password=mypass", "Login 'test02'");
 233     # Should be at the Book List page... do some checks to confirm
 234     $_->title_is("Book List", "Check for book list title") for $ua1, $ua2;
 235
 236     $ua1->get_ok("http://localhost/books/list", "'test01' book list");
 237     $ua1->get_ok("http://localhost/login", "Login Page");
 238     $ua1->get_ok("http://localhost/books/list", "'test01' book list");
 239
 240     $_->content_contains("Book List", "Check for book list title") for $ua1, $ua2;
 241     # Make sure the appropriate logout buttons are displayed
 242     $_->content_contains("/logout\">User Logout</a>",
 243         "Both users should have a 'User Logout'") for $ua1, $ua2;
 244     $ua1->content_contains("/books/form_create\">Admin Create</a>",
 245         "'test01' should have a create link");
 246     $ua2->content_lacks("/books/form_create\">Admin Create</a>",
 247         "'test02' should NOT have a create link");
 248
 249     $ua1->get_ok("http://localhost/books/list", "View book list as 'test01'");
 250
 251     # User 'test01' should be able to create a book with the "formless create" URL
 252     $ua1->get_ok("http://localhost/books/url_create/TestTitle/2/4",
 253         "'test01' formless create");
 254     $ua1->title_is("Book Created", "Book created title");
 255     $ua1->content_contains("Added book 'TestTitle'", "Check title added OK");
 256     $ua1->content_contains("by 'Stevens'", "Check author added OK");
 257     $ua1->content_contains("with a rating of 2.", "Check rating added");
 258     # Try a regular expression to combine the previous 3 checks & account for whitespace
 259     $ua1->content_like(qr/Added book 'TestTitle'\s+by 'Stevens'\s+with a rating of 2./, "Regex check");
 260
 261     # Make sure the new book shows in the list
 262     $ua1->get_ok("http://localhost/books/list", "'test01' book list");
 263     $ua1->title_is("Book List", "Check logged in and at book list");
 264     $ua1->content_contains("Book List", "Book List page test");
 265     $ua1->content_contains("TestTitle", "Look for 'TestTitle'");
 266
 267     # Make sure the new book can be deleted
 268     # Get all the Delete links on the list page
 269     my @delLinks = $ua1->find_all_links(text => 'Delete');
 270     # Use the final link to delete the last book
 271     $ua1->get_ok($delLinks[$#delLinks]->url, 'Delete last book');
 272     # Check that delete worked
 273     $ua1->content_contains("Book List", "Book List page test");
 274     $ua1->content_contains("Book deleted", "Book was deleted");
 275
 276     # User 'test02' should not be able to add a book
 277     $ua2->get_ok("http://localhost/books/url_create/TestTitle2/2/5", "'test02' add");
 278     $ua2->content_contains("Unauthorized!", "Check 'test02' cannot add");
 279
 280     done_testing;
 281
 282 The C<live_app.t> test cases uses copious comments to explain each step
 283 of the process.  In addition to the techniques shown here, there are a
 284 variety of other methods available in
 285 L<Test::WWW::Mechanize::Catalyst> (for
 286 example, regex-based matching). Consult the documentation for more
 287 detail.
 288
 289 B<TIP>: For I<unit tests> vs. the "full application tests" approach used
 290 by L<Test::WWW::Mechanize::Catalyst>, see
 291 L<Catalyst::Test>.
 292
 293 B<Note:> The test script does not test the C<form_create> and
 294 C<form_create_do> actions.  That is left as an exercise for the reader
 295 (you should be able to complete that logic using the existing code as a
 296 template).
 297
 298 To run the new test script, use a command such as:
 299
 300     $ CATALYST_DEBUG=0 prove -vwl t/live_app01.t
 301
 302 or
 303
 304     $ DBIC_TRACE=0 CATALYST_DEBUG=0 prove -vwl t/live_app01.t
 305
 306 Experiment with the C<DBIC_TRACE>, C<CATALYST_DEBUG> and C<-v>
 307 settings.  If you find that there are errors, use the techniques
 308 discussed in the "Catalyst Debugging" section (Chapter 7) to isolate
 309 and fix any problems.
 310
 311 If you want to run the test case under the Perl interactive debugger,
 312 try a command such as:
 313
 314     $ DBIC_TRACE=0 CATALYST_DEBUG=0 perl -d -Ilib t/live_app01.t
 315
 316 Note that although this tutorial uses a single custom test case for
 317 simplicity, you may wish to break your tests into different files for
 318 better organization.
 319
 320 B<TIP:> If you have a test case that fails, you will receive an error
 321 similar to the following:
 322
 323     #   Failed test 'Check we are NOT logged in'
 324     #   in t/live_app01.t at line 31.
 325     #     searched: "\x{0a}<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Tran"...
 326     #   can't find: "You need to log in to use this application."
 327
 328 Unfortunately, this only shows us the first 50 characters of the HTML
 329 returned by the request -- not enough to determine where the problem
 330 lies.  A simple technique that can be used in such situations is to
 331 temporarily insert a line similar to the following right after the
 332 failed test:
 333
 334     diag $ua1->content;
 335
 336 This will cause the full HTML returned by the request to be displayed.
 337
 338 Another approach to see the full HTML content at the failure point in
 339 a series of tests would be to insert a "C<$DB::single=1;> right above
 340 the location of the failure and run the test under the perl debugger
 341 (with C<-d>) as shown above.  Then you can use the debugger to explore
 342 the state of the application right before or after the failure.
 343
 344
 345 =head1 SUPPORTING BOTH PRODUCTION AND TEST DATABASES
 346
 347 You may wish to leverage the techniques discussed in this tutorial to
 348 maintain both a "production database" for your live application and a
 349 "testing database" for your test cases.  One advantage to
 350 L<Test::WWW::Mechanize::Catalyst> is that
 351 it runs your full application; however, this can complicate things when
 352 you want to support multiple databases.
 353
 354 =head2 DATABASE CONFIG SWITCHING IN YOUR MODEL CLASS
 355
 356 One solution is to allow the
 357 database specification to be overridden with an environment variable.
 358 For example, open C<lib/MyApp/Model/DB.pm> in your editor and
 359 change the C<__PACKAGE__-E<gt>config(...> declaration to resemble:
 360
 361     my $dsn = $ENV{MYAPP_DSN} ||= 'dbi:SQLite:myapp.db';
 362     __PACKAGE__->config(
 363         schema_class => 'MyApp::Schema',
 364
 365         connect_info => {
 366             dsn => $dsn,
 367             user => '',
 368             password => '',
 369             on_connect_do => q{PRAGMA foreign_keys = ON},
 370         }
 371     );
 372
 373 Then, when you run your test case, you can use commands such as:
 374
 375     $ cp myapp.db myappTEST.db
 376     $ CATALYST_DEBUG=0 MYAPP_DSN="dbi:SQLite:myappTEST.db" prove -vwl t/live_app01.t
 377
 378 This will modify the DSN only while the test case is running.  If you
 379 launch your normal application without the C<MYAPP_DSN> environment
 380 variable defined, it will default to the same C<dbi:SQLite:myapp.db> as
 381 before.
 382
 383 =head2 DATABASE CONFIG SWITCHING USING MULTIPLE CONFIG FILES
 384
 385 By utilizing L<Catalyst::Plugin::ConfigLoader>s functionality for loading
 386 multiple config files based on environment variables you can override your
 387 default (production) database connection settings.
 388
 389 Setting C<$ENV{ MYAPP_CONFIG_LOCAL_SUFFIX }> to 'testing' in your test script
 390 results in loading of an additional config file named myapp_testing.conf after
 391 myapp.conf which will override any parameters in myapp.conf.
 392
 393 You should set the environment variable in the BEGIN block of your test script
 394 to make sure it's set before your Catalyst application is started.
 395
 396 The following is an example for a config and test script for a DBIx::Class
 397 model named MyDB and a controller named Foo:
 398
 399 myapp_testing.conf:
 400
 401     <Model::MyDB>
 402         <connect_info>
 403             dsn dbi:SQLite:myapp.db
 404         </connect_info>
 405     </Model::MyDB>
 406
 407
 408 t/controller_Foo.t:
 409
 410     use strict;
 411     use warnings;
 412     use Test::More;
 413
 414     BEGIN {
 415         $ENV{ MYAPP_CONFIG_LOCAL_SUFFIX } = 'testing';
 416     }
 417
 418     eval "use Test::WWW::Mechanize::Catalyst 'MyApp'";
 419     plan $@
 420         ? ( skip_all => 'Test::WWW::Mechanize::Catalyst required' )
 421         : ( tests => 2 );
 422
 423     ok( my $mech = Test::WWW::Mechanize::Catalyst->new, 'Created mech object' );
 424
 425     $mech->get_ok( 'http://localhost/foo' );
 426
 427
 428 =head1 AUTHOR
 429
 430 Kennedy Clark, C<hkclark@gmail.com>
 431
 432 Feel free to contact the author for any errors or suggestions, but the
 433 best way to report issues is via the CPAN RT Bug system at
 434 <https://rt.cpan.org/Public/Dist/Display.html?Name=Catalyst-Manual>.
 435
 436 The most recent version of the Catalyst Tutorial can be found at
 437 L<http://dev.catalyst.perl.org/repos/Catalyst/Catalyst-Manual/5.80/trunk/lib/Catalyst/Manual/Tutorial/>.
 438
 439 Copyright 2006-2010, Kennedy Clark, under the
 440 Creative Commons Attribution Share-Alike License Version 3.0
 441 (L<http://creativecommons.org/licenses/by-sa/3.0/us/>).