pod/perlembed.pod

   1 =head1 NAME
   2
   3 perlembed - how to embed perl in your C program
   4
   5 =head1 DESCRIPTION
   6
   7 =head2 PREAMBLE
   8
   9 Do you want to:
  10
  11 =over 5
  12
  13 =item B<Use C from Perl?>
  14
  15 Read L<perlcall> and L<perlxs>.
  16
  17 =item B<Use a Unix program from Perl?>
  18
  19 Read about back-quotes and about C<system> and C<exec> in L<perlfunc>.
  20
  21 =item B<Use Perl from Perl?>
  22
  23 Read about L<perlfunc/do> and L<perlfunc/eval> and L<perlfunc/require>
  24 and L<perlfunc/use>.
  25
  26 =item B<Use C from C?>
  27
  28 Rethink your design.
  29
  30 =item B<Use Perl from C?>
  31
  32 Read on...
  33
  34 =back
  35
  36 =head2 ROADMAP
  37
  38 L<Compiling your C program>
  39
  40 There's one example in each of the nine sections:
  41
  42 L<Adding a Perl interpreter to your C program>
  43
  44 L<Calling a Perl subroutine from your C program>
  45
  46 L<Evaluating a Perl statement from your C program>
  47
  48 L<Performing Perl pattern matches and substitutions from your C program>
  49
  50 L<Fiddling with the Perl stack from your C program>
  51
  52 L<Maintaining a persistent interpreter>
  53
  54 L<Maintaining multiple interpreter instances>
  55
  56 L<Using Perl modules, which themselves use C libraries, from your C program>
  57
  58 L<Embedding Perl under Win32>
  59
  60 =head2 Compiling your C program
  61
  62 If you have trouble compiling the scripts in this documentation,
  63 you're not alone.  The cardinal rule: COMPILE THE PROGRAMS IN EXACTLY
  64 THE SAME WAY THAT YOUR PERL WAS COMPILED.  (Sorry for yelling.)
  65
  66 Also, every C program that uses Perl must link in the I<perl library>.
  67 What's that, you ask?  Perl is itself written in C; the perl library
  68 is the collection of compiled C programs that were used to create your
  69 perl executable (I</usr/bin/perl> or equivalent).  (Corollary: you
  70 can't use Perl from your C program unless Perl has been compiled on
  71 your machine, or installed properly--that's why you shouldn't blithely
  72 copy Perl executables from machine to machine without also copying the
  73 I<lib> directory.)
  74
  75 When you use Perl from C, your C program will--usually--allocate,
  76 "run", and deallocate a I<PerlInterpreter> object, which is defined by
  77 the perl library.
  78
  79 If your copy of Perl is recent enough to contain this documentation
  80 (version 5.002 or later), then the perl library (and I<EXTERN.h> and
  81 I<perl.h>, which you'll also need) will reside in a directory
  82 that looks like this:
  83
  84     /usr/local/lib/perl5/your_architecture_here/CORE
  85
  86 or perhaps just
  87
  88     /usr/local/lib/perl5/CORE
  89
  90 or maybe something like
  91
  92     /usr/opt/perl5/CORE
  93
  94 Execute this statement for a hint about where to find CORE:
  95
  96     perl -MConfig -e 'print $Config{archlib}'
  97
  98 Here's how you'd compile the example in the next section,
  99 L<Adding a Perl interpreter to your C program>, on my Linux box:
 100
 101     % gcc -O2 -Dbool=char -DHAS_BOOL -I/usr/local/include
 102     -I/usr/local/lib/perl5/i586-linux/5.003/CORE
 103     -L/usr/local/lib/perl5/i586-linux/5.003/CORE
 104     -o interp interp.c -lperl -lm
 105
 106 (That's all one line.)  On my DEC Alpha running 5.003_05, the incantation
 107 is a bit different:
 108
 109     % cc -O2 -Olimit 2900 -DSTANDARD_C -I/usr/local/include
 110     -I/usr/local/lib/perl5/alpha-dec_osf/5.00305/CORE
 111     -L/usr/local/lib/perl5/alpha-dec_osf/5.00305/CORE -L/usr/local/lib
 112     -D__LANGUAGE_C__ -D_NO_PROTO -o interp interp.c -lperl -lm
 113
 114 How can you figure out what to add?  Assuming your Perl is post-5.001,
 115 execute a C<perl -V> command and pay special attention to the "cc" and
 116 "ccflags" information.
 117
 118 You'll have to choose the appropriate compiler (I<cc>, I<gcc>, et al.) for
 119 your machine: C<perl -MConfig -e 'print $Config{cc}'> will tell you what
 120 to use.
 121
 122 You'll also have to choose the appropriate library directory
 123 (I</usr/local/lib/...>) for your machine.  If your compiler complains
 124 that certain functions are undefined, or that it can't locate
 125 I<-lperl>, then you need to change the path following the C<-L>.  If it
 126 complains that it can't find I<EXTERN.h> and I<perl.h>, you need to
 127 change the path following the C<-I>.
 128
 129 You may have to add extra libraries as well.  Which ones?
 130 Perhaps those printed by
 131
 132    perl -MConfig -e 'print $Config{libs}'
 133
 134 Provided your perl binary was properly configured and installed the
 135 B<ExtUtils::Embed> module will determine all of this information for
 136 you:
 137
 138    % cc -o interp interp.c `perl -MExtUtils::Embed -e ccopts -e ldopts`
 139
 140 If the B<ExtUtils::Embed> module isn't part of your Perl distribution,
 141 you can retrieve it from
 142 http://www.perl.com/perl/CPAN/modules/by-module/ExtUtils::Embed.  (If
 143 this documentation came from your Perl distribution, then you're
 144 running 5.004 or better and you already have it.)
 145
 146 The B<ExtUtils::Embed> kit on CPAN also contains all source code for
 147 the examples in this document, tests, additional examples and other
 148 information you may find useful.
 149
 150 =head2 Adding a Perl interpreter to your C program
 151
 152 In a sense, perl (the C program) is a good example of embedding Perl
 153 (the language), so I'll demonstrate embedding with I<miniperlmain.c>,
 154 from the source distribution.  Here's a bastardized, nonportable
 155 version of I<miniperlmain.c> containing the essentials of embedding:
 156
 157     #include <EXTERN.h>               /* from the Perl distribution     */
 158     #include <perl.h>                 /* from the Perl distribution     */
 159
 160     static PerlInterpreter *my_perl;  /***    The Perl interpreter    ***/
 161
 162     int main(int argc, char **argv, char **env)
 163     {
 164         my_perl = perl_alloc();
 165         perl_construct(my_perl);
 166         perl_parse(my_perl, NULL, argc, argv, (char **)NULL);
 167         perl_run(my_perl);
 168         perl_destruct(my_perl);
 169         perl_free(my_perl);
 170     }
 171
 172 Notice that we don't use the C<env> pointer.  Normally handed to
 173 C<perl_parse> as its final argument, C<env> here is replaced by
 174 C<NULL>, which means that the current environment will be used.
 175
 176 Now compile this program (I'll call it I<interp.c>) into an executable:
 177
 178     % cc -o interp interp.c `perl -MExtUtils::Embed -e ccopts -e ldopts`
 179
 180 After a successful compilation, you'll be able to use I<interp> just
 181 like perl itself:
 182
 183     % interp
 184     print "Pretty Good Perl \n";
 185     print "10890 - 9801 is ", 10890 - 9801;
 186     <CTRL-D>
 187     Pretty Good Perl
 188     10890 - 9801 is 1089
 189
 190 or
 191
 192     % interp -e 'printf("%x", 3735928559)'
 193     deadbeef
 194
 195 You can also read and execute Perl statements from a file while in the
 196 midst of your C program, by placing the filename in I<argv[1]> before
 197 calling I<perl_run()>.
 198
 199 =head2 Calling a Perl subroutine from your C program
 200
 201 To call individual Perl subroutines, you can use any of the B<perl_call_*>
 202 functions documented in the L<perlcall> manpage.
 203 In this example we'll use I<perl_call_argv>.
 204
 205 That's shown below, in a program I'll call I<showtime.c>.
 206
 207     #include <EXTERN.h>
 208     #include <perl.h>
 209
 210     static PerlInterpreter *my_perl;
 211
 212     int main(int argc, char **argv, char **env)
 213     {
 214         char *args[] = { NULL };
 215         my_perl = perl_alloc();
 216         perl_construct(my_perl);
 217
 218         perl_parse(my_perl, NULL, argc, argv, NULL);
 219
 220         /*** skipping perl_run() ***/
 221
 222         perl_call_argv("showtime", G_DISCARD | G_NOARGS, args);
 223
 224         perl_destruct(my_perl);
 225         perl_free(my_perl);
 226     }
 227
 228 where I<showtime> is a Perl subroutine that takes no arguments (that's the
 229 I<G_NOARGS>) and for which I'll ignore the return value (that's the
 230 I<G_DISCARD>).  Those flags, and others, are discussed in L<perlcall>.
 231
 232 I'll define the I<showtime> subroutine in a file called I<showtime.pl>:
 233
 234     print "I shan't be printed.";
 235
 236     sub showtime {
 237         print time;
 238     }
 239
 240 Simple enough.  Now compile and run:
 241
 242     % cc -o showtime showtime.c `perl -MExtUtils::Embed -e ccopts -e ldopts`
 243
 244     % showtime showtime.pl
 245     818284590
 246
 247 yielding the number of seconds that elapsed between January 1, 1970
 248 (the beginning of the Unix epoch), and the moment I began writing this
 249 sentence.
 250
 251 In this particular case we don't have to call I<perl_run>, but in
 252 general it's considered good practice to ensure proper initialization
 253 of library code, including execution of all object C<DESTROY> methods
 254 and package C<END {}> blocks.
 255
 256 If you want to pass arguments to the Perl subroutine, you can add
 257 strings to the C<NULL>-terminated C<args> list passed to
 258 I<perl_call_argv>.  For other data types, or to examine return values,
 259 you'll need to manipulate the Perl stack.  That's demonstrated in the
 260 last section of this document: L<Fiddling with the Perl stack from
 261 your C program>.
 262
 263 =head2 Evaluating a Perl statement from your C program
 264
 265 Perl provides two API functions to evaluate pieces of Perl code.
 266 These are L<perlguts/perl_eval_sv()> and L<perlguts/perl_eval_pv()>.
 267
 268 Arguably, these are the only routines you'll ever need to execute
 269 snippets of Perl code from within your C program.  Your code can be
 270 as long as you wish; it can contain multiple statements; it can employ
 271 L<perlfunc/use>, L<perlfunc/require> and L<perlfunc/do> to include
 272 external Perl files.
 273
 274 I<perl_eval_pv()> lets us evaluate individual Perl strings, and then
 275 extract variables for coercion into C types.  The following program,
 276 I<string.c>, executes three Perl strings, extracting an C<int> from
 277 the first, a C<float> from the second, and a C<char *> from the third.
 278
 279    #include <EXTERN.h>
 280    #include <perl.h>
 281
 282    static PerlInterpreter *my_perl;
 283
 284    main (int argc, char **argv, char **env)
 285    {
 286        char *embedding[] = { "", "-e", "0" };
 287
 288        my_perl = perl_alloc();
 289        perl_construct( my_perl );
 290
 291        perl_parse(my_perl, NULL, 3, embedding, NULL);
 292        perl_run(my_perl);
 293
 294        /** Treat $a as an integer **/
 295        perl_eval_pv("$a = 3; $a **= 2", TRUE);
 296        printf("a = %d\n", SvIV(perl_get_sv("a", FALSE)));
 297
 298        /** Treat $a as a float **/
 299        perl_eval_pv("$a = 3.14; $a **= 2", TRUE);
 300        printf("a = %f\n", SvNV(perl_get_sv("a", FALSE)));
 301
 302        /** Treat $a as a string **/
 303        perl_eval_pv("$a = 'rekcaH lreP rehtonA tsuJ'; $a = reverse($a);", TRUE);
 304        printf("a = %s\n", SvPV(perl_get_sv("a", FALSE), na));
 305
 306        perl_destruct(my_perl);
 307        perl_free(my_perl);
 308    }
 309
 310 All of those strange functions with I<sv> in their names help convert Perl scalars to C types.  They're described in L<perlguts>.
 311
 312 If you compile and run I<string.c>, you'll see the results of using
 313 I<SvIV()> to create an C<int>, I<SvNV()> to create a C<float>, and
 314 I<SvPV()> to create a string:
 315
 316    a = 9
 317    a = 9.859600
 318    a = Just Another Perl Hacker
 319
 320 In the example above, we've created a global variable to temporarily
 321 store the computed value of our eval'd expression.  It is also
 322 possible and in most cases a better strategy to fetch the return value
 323 from L<perl_eval_pv> instead.  Example:
 324
 325    ...
 326    SV *val = perl_eval_pv("reverse 'rekcaH lreP rehtonA tsuJ'", TRUE);
 327    printf("%s\n", SvPV(val,na));
 328    ...
 329
 330 This way, we avoid namespace pollution by not creating global
 331 variables and we've simplified our code as well.
 332
 333 =head2 Performing Perl pattern matches and substitutions from your C program
 334
 335 The I<perl_eval_sv()> function lets us evaluate chunks of Perl code, so we can
 336 define some functions that use it to "specialize" in matches and
 337 substitutions: I<match()>, I<substitute()>, and I<matches()>.
 338
 339    char match(SV *string, char *pattern);
 340
 341 Given a string and a pattern (e.g., C<m/clasp/> or C</\b\w*\b/>, which
 342 in your C program might appear as "/\\b\\w*\\b/"), match()
 343 returns 1 if the string matches the pattern and 0 otherwise.
 344
 345    int substitute(SV **string, char *pattern);
 346
 347 Given a pointer to an C<SV> and an C<=~> operation (e.g.,
 348 C<s/bob/robert/g> or C<tr[A-Z][a-z]>), substitute() modifies the string
 349 within the C<AV> at according to the operation, returning the number of substitutions
 350 made.
 351
 352    int matches(SV *string, char *pattern, AV **matches);
 353
 354 Given an C<SV>, a pattern, and a pointer to an empty C<AV>,
 355 matches() evaluates C<$string =~ $pattern> in an array context, and
 356 fills in I<matches> with the array elements, returning the number of matches found.
 357
 358 Here's a sample program, I<match.c>, that uses all three (long lines have
 359 been wrapped here):
 360
 361  #include <EXTERN.h>
 362  #include <perl.h>
 363
 364  /** my_perl_eval_sv(code, error_check)
 365  ** kinda like perl_eval_sv(),
 366  ** but we pop the return value off the stack
 367  **/
 368  SV* my_perl_eval_sv(SV *sv, I32 croak_on_error)
 369  {
 370      dSP;
 371      SV* retval;
 372
 373      PUSHMARK(sp);
 374      perl_eval_sv(sv, G_SCALAR);
 375
 376      SPAGAIN;
 377      retval = POPs;
 378      PUTBACK;
 379
 380      if (croak_on_error && SvTRUE(GvSV(errgv)))
 381         croak(SvPVx(GvSV(errgv), na));
 382
 383      return retval;
 384  }
 385
 386  /** match(string, pattern)
 387  **
 388  ** Used for matches in a scalar context.
 389  **
 390  ** Returns 1 if the match was successful; 0 otherwise.
 391  **/
 392
 393  I32 match(SV *string, char *pattern)
 394  {
 395      SV *command = newSV(0), *retval;
 396
 397      sv_setpvf(command, "my $string = '%s'; $string =~ %s",
 398               SvPV(string,na), pattern);
 399
 400      retval = my_perl_eval_sv(command, TRUE);
 401      SvREFCNT_dec(command);
 402
 403      return SvIV(retval);
 404  }
 405
 406  /** substitute(string, pattern)
 407  **
 408  ** Used for =~ operations that modify their left-hand side (s/// and tr///)
 409  **
 410  ** Returns the number of successful matches, and
 411  ** modifies the input string if there were any.
 412  **/
 413
 414  I32 substitute(SV **string, char *pattern)
 415  {
 416      SV *command = newSV(0), *retval;
 417
 418      sv_setpvf(command, "$string = '%s'; ($string =~ %s)",
 419               SvPV(*string,na), pattern);
 420
 421      retval = my_perl_eval_sv(command, TRUE);
 422      SvREFCNT_dec(command);
 423
 424      *string = perl_get_sv("string", FALSE);
 425      return SvIV(retval);
 426  }
 427
 428  /** matches(string, pattern, matches)
 429  **
 430  ** Used for matches in an array context.
 431  **
 432  ** Returns the number of matches,
 433  ** and fills in **matches with the matching substrings
 434  **/
 435
 436  I32 matches(SV *string, char *pattern, AV **match_list)
 437  {
 438      SV *command = newSV(0);
 439      I32 num_matches;
 440
 441      sv_setpvf(command, "my $string = '%s'; @array = ($string =~ %s)",
 442               SvPV(string,na), pattern);
 443
 444      my_perl_eval_sv(command, TRUE);
 445      SvREFCNT_dec(command);
 446
 447      *match_list = perl_get_av("array", FALSE);
 448      num_matches = av_len(*match_list) + 1; /** assume $[ is 0 **/
 449
 450      return num_matches;
 451  }
 452
 453  main (int argc, char **argv, char **env)
 454  {
 455      PerlInterpreter *my_perl = perl_alloc();
 456      char *embedding[] = { "", "-e", "0" };
 457      AV *match_list;
 458      I32 num_matches, i;
 459      SV *text = newSV(0);
 460
 461      perl_construct(my_perl);
 462      perl_parse(my_perl, NULL, 3, embedding, NULL);
 463
 464      sv_setpv(text, "When he is at a convenience store and the bill comes to some amount like 76 cents, Maynard is aware that there is something he *should* do, something that will enable him to get back a quarter, but he has no idea *what*.  He fumbles through his red squeezey changepurse and gives the boy three extra pennies with his dollar, hoping that he might luck into the correct amount.  The boy gives him back two of his own pennies and then the big shiny quarter that is his prize. -RICHH");
 465
 466      if (match(text, "m/quarter/")) /** Does text contain 'quarter'? **/
 467         printf("match: Text contains the word 'quarter'.\n\n");
 468      else
 469         printf("match: Text doesn't contain the word 'quarter'.\n\n");
 470
 471      if (match(text, "m/eighth/")) /** Does text contain 'eighth'? **/
 472         printf("match: Text contains the word 'eighth'.\n\n");
 473      else
 474         printf("match: Text doesn't contain the word 'eighth'.\n\n");
 475
 476      /** Match all occurrences of /wi../ **/
 477      num_matches = matches(text, "m/(wi..)/g", &match_list);
 478      printf("matches: m/(wi..)/g found %d matches...\n", num_matches);
 479
 480      for (i = 0; i < num_matches; i++)
 481         printf("match: %s\n", SvPV(*av_fetch(match_list, i, FALSE),na));
 482      printf("\n");
 483
 484      /** Remove all vowels from text **/
 485      num_matches = substitute(&text, "s/[aeiou]//gi");
 486      if (num_matches) {
 487         printf("substitute: s/[aeiou]//gi...%d substitutions made.\n",
 488                num_matches);
 489         printf("Now text is: %s\n\n", SvPV(text,na));
 490      }
 491
 492      /** Attempt a substitution **/
 493      if (!substitute(&text, "s/Perl/C/")) {
 494         printf("substitute: s/Perl/C...No substitution made.\n\n");
 495      }
 496
 497      SvREFCNT_dec(text);
 498      perl_destruct_level = 1;
 499      perl_destruct(my_perl);
 500      perl_free(my_perl);
 501  }
 502
 503 which produces the output (again, long lines have been wrapped here)
 504
 505    match: Text contains the word 'quarter'.
 506
 507    match: Text doesn't contain the word 'eighth'.
 508
 509    matches: m/(wi..)/g found 2 matches...
 510    match: will
 511    match: with
 512
 513    substitute: s/[aeiou]//gi...139 substitutions made.
 514    Now text is: Whn h s t  cnvnnc str nd th bll cms t sm mnt lk 76 cnts,
 515    Mynrd s wr tht thr s smthng h *shld* d, smthng tht wll nbl hm t gt bck
 516    qrtr, bt h hs n d *wht*.  H fmbls thrgh hs rd sqzy chngprs nd gvs th by
 517    thr xtr pnns wth hs dllr, hpng tht h mght lck nt th crrct mnt.  Th by gvs
 518    hm bck tw f hs wn pnns nd thn th bg shny qrtr tht s hs prz. -RCHH
 519
 520    substitute: s/Perl/C...No substitution made.
 521
 522 =head2 Fiddling with the Perl stack from your C program
 523
 524 When trying to explain stacks, most computer science textbooks mumble
 525 something about spring-loaded columns of cafeteria plates: the last
 526 thing you pushed on the stack is the first thing you pop off.  That'll
 527 do for our purposes: your C program will push some arguments onto "the Perl
 528 stack", shut its eyes while some magic happens, and then pop the
 529 results--the return value of your Perl subroutine--off the stack.
 530
 531 First you'll need to know how to convert between C types and Perl
 532 types, with newSViv() and sv_setnv() and newAV() and all their
 533 friends.  They're described in L<perlguts>.
 534
 535 Then you'll need to know how to manipulate the Perl stack.  That's
 536 described in L<perlcall>.
 537
 538 Once you've understood those, embedding Perl in C is easy.
 539
 540 Because C has no builtin function for integer exponentiation, let's
 541 make Perl's ** operator available to it (this is less useful than it
 542 sounds, because Perl implements ** with C's I<pow()> function).  First
 543 I'll create a stub exponentiation function in I<power.pl>:
 544
 545     sub expo {
 546         my ($a, $b) = @_;
 547         return $a ** $b;
 548     }
 549
 550 Now I'll create a C program, I<power.c>, with a function
 551 I<PerlPower()> that contains all the perlguts necessary to push the
 552 two arguments into I<expo()> and to pop the return value out.  Take a
 553 deep breath...
 554
 555     #include <EXTERN.h>
 556     #include <perl.h>
 557
 558     static PerlInterpreter *my_perl;
 559
 560     static void
 561     PerlPower(int a, int b)
 562     {
 563       dSP;                            /* initialize stack pointer      */
 564       ENTER;                          /* everything created after here */
 565       SAVETMPS;                       /* ...is a temporary variable.   */
 566       PUSHMARK(sp);                   /* remember the stack pointer    */
 567       XPUSHs(sv_2mortal(newSViv(a))); /* push the base onto the stack  */
 568       XPUSHs(sv_2mortal(newSViv(b))); /* push the exponent onto stack  */
 569       PUTBACK;                      /* make local stack pointer global */
 570       perl_call_pv("expo", G_SCALAR); /* call the function             */
 571       SPAGAIN;                        /* refresh stack pointer         */
 572                                     /* pop the return value from stack */
 573       printf ("%d to the %dth power is %d.\n", a, b, POPi);
 574       PUTBACK;
 575       FREETMPS;                       /* free that return value        */
 576       LEAVE;                       /* ...and the XPUSHed "mortal" args.*/
 577     }
 578
 579     int main (int argc, char **argv, char **env)
 580     {
 581       char *my_argv[2];
 582
 583       my_perl = perl_alloc();
 584       perl_construct( my_perl );
 585
 586       my_argv[1] = (char *) malloc(10);
 587       sprintf(my_argv[1], "power.pl");
 588
 589       perl_parse(my_perl, NULL, argc, my_argv, NULL);
 590       perl_run(my_perl);
 591
 592       PerlPower(3, 4);                      /*** Compute 3 ** 4 ***/
 593
 594       perl_destruct(my_perl);
 595       perl_free(my_perl);
 596     }
 597
 598
 599
 600 Compile and run:
 601
 602     % cc -o power power.c `perl -MExtUtils::Embed -e ccopts -e ldopts`
 603
 604     % power
 605     3 to the 4th power is 81.
 606
 607 =head2 Maintaining a persistent interpreter
 608
 609 When developing interactive and/or potentially long-running
 610 applications, it's a good idea to maintain a persistent interpreter
 611 rather than allocating and constructing a new interpreter multiple
 612 times.  The major reason is speed: since Perl will only be loaded into
 613 memory once.
 614
 615 However, you have to be more cautious with namespace and variable
 616 scoping when using a persistent interpreter.  In previous examples
 617 we've been using global variables in the default package C<main>.  We
 618 knew exactly what code would be run, and assumed we could avoid
 619 variable collisions and outrageous symbol table growth.
 620
 621 Let's say your application is a server that will occasionally run Perl
 622 code from some arbitrary file.  Your server has no way of knowing what
 623 code it's going to run.  Very dangerous.
 624
 625 If the file is pulled in by C<perl_parse()>, compiled into a newly
 626 constructed interpreter, and subsequently cleaned out with
 627 C<perl_destruct()> afterwards, you're shielded from most namespace
 628 troubles.
 629
 630 One way to avoid namespace collisions in this scenario is to translate
 631 the filename into a guaranteed-unique package name, and then compile
 632 the code into that package using L<perlfunc/eval>.  In the example
 633 below, each file will only be compiled once.  Or, the application
 634 might choose to clean out the symbol table associated with the file
 635 after it's no longer needed.  Using L<perlcall/perl_call_argv>, We'll
 636 call the subroutine C<Embed::Persistent::eval_file> which lives in the
 637 file C<persistent.pl> and pass the filename and boolean cleanup/cache
 638 flag as arguments.
 639
 640 Note that the process will continue to grow for each file that it
 641 uses.  In addition, there might be C<AUTOLOAD>ed subroutines and other
 642 conditions that cause Perl's symbol table to grow.  You might want to
 643 add some logic that keeps track of the process size, or restarts
 644 itself after a certain number of requests, to ensure that memory
 645 consumption is minimized.  You'll also want to scope your variables
 646 with L<perlfunc/my> whenever possible.
 647
 648
 649  package Embed::Persistent;
 650  #persistent.pl
 651
 652  use strict;
 653  use vars '%Cache';
 654
 655  sub valid_package_name {
 656      my($string) = @_;
 657      $string =~ s/([^A-Za-z0-9\/])/sprintf("_%2x",unpack("C",$1))/eg;
 658      # second pass only for words starting with a digit
 659      $string =~ s|/(\d)|sprintf("/_%2x",unpack("C",$1))|eg;
 660
 661      # Dress it up as a real package name
 662      $string =~ s|/|::|g;
 663      return "Embed" . $string;
 664  }
 665
 666  #borrowed from Safe.pm
 667  sub delete_package {
 668      my $pkg = shift;
 669      my ($stem, $leaf);
 670
 671      no strict 'refs';
 672      $pkg = "main::$pkg\::";    # expand to full symbol table name
 673      ($stem, $leaf) = $pkg =~ m/(.*::)(\w+::)$/;
 674
 675      my $stem_symtab = *{$stem}{HASH};
 676
 677      delete $stem_symtab->{$leaf};
 678  }
 679
 680  sub eval_file {
 681      my($filename, $delete) = @_;
 682      my $package = valid_package_name($filename);
 683      my $mtime = -M $filename;
 684      if(defined $Cache{$package}{mtime}
 685         &&
 686         $Cache{$package}{mtime} <= $mtime)
 687      {
 688         # we have compiled this subroutine already,
 689         # it has not been updated on disk, nothing left to do
 690         print STDERR "already compiled $package->handler\n";
 691      }
 692      else {
 693         local *FH;
 694         open FH, $filename or die "open '$filename' $!";
 695         local($/) = undef;
 696         my $sub = <FH>;
 697         close FH;
 698
 699         #wrap the code into a subroutine inside our unique package
 700         my $eval = qq{package $package; sub handler { $sub; }};
 701         {
 702             # hide our variables within this block
 703             my($filename,$mtime,$package,$sub);
 704             eval $eval;
 705         }
 706         die $@ if $@;
 707
 708         #cache it unless we're cleaning out each time
 709         $Cache{$package}{mtime} = $mtime unless $delete;
 710      }
 711
 712      eval {$package->handler;};
 713      die $@ if $@;
 714
 715      delete_package($package) if $delete;
 716
 717      #take a look if you want
 718      #print Devel::Symdump->rnew($package)->as_string, $/;
 719  }
 720
 721  1;
 722
 723  __END__
 724
 725  /* persistent.c */
 726  #include <EXTERN.h>
 727  #include <perl.h>
 728
 729  /* 1 = clean out filename's symbol table after each request, 0 = don't */
 730  #ifndef DO_CLEAN
 731  #define DO_CLEAN 0
 732  #endif
 733
 734  static PerlInterpreter *perl = NULL;
 735
 736  int
 737  main(int argc, char **argv, char **env)
 738  {
 739      char *embedding[] = { "", "persistent.pl" };
 740      char *args[] = { "", DO_CLEAN, NULL };
 741      char filename [1024];
 742      int exitstatus = 0;
 743
 744      if((perl = perl_alloc()) == NULL) {
 745         fprintf(stderr, "no memory!");
 746         exit(1);
 747      }
 748      perl_construct(perl);
 749
 750      exitstatus = perl_parse(perl, NULL, 2, embedding, NULL);
 751
 752      if(!exitstatus) {
 753         exitstatus = perl_run(perl);
 754
 755         while(printf("Enter file name: ") && gets(filename)) {
 756
 757             /* call the subroutine, passing it the filename as an argument */
 758             args[0] = filename;
 759             perl_call_argv("Embed::Persistent::eval_file",
 760                            G_DISCARD | G_EVAL, args);
 761
 762             /* check $@ */
 763             if(SvTRUE(GvSV(errgv)))
 764                 fprintf(stderr, "eval error: %s\n", SvPV(GvSV(errgv),na));
 765         }
 766      }
 767
 768      perl_destruct_level = 0;
 769      perl_destruct(perl);
 770      perl_free(perl);
 771      exit(exitstatus);
 772  }
 773
 774 Now compile:
 775
 776  % cc -o persistent persistent.c `perl -MExtUtils::Embed -e ccopts -e ldopts`
 777
 778 Here's a example script file:
 779
 780  #test.pl
 781  my $string = "hello";
 782  foo($string);
 783
 784  sub foo {
 785      print "foo says: @_\n";
 786  }
 787
 788 Now run:
 789
 790  % persistent
 791  Enter file name: test.pl
 792  foo says: hello
 793  Enter file name: test.pl
 794  already compiled Embed::test_2epl->handler
 795  foo says: hello
 796  Enter file name: ^C
 797
 798 =head2 Maintaining multiple interpreter instances
 799
 800 Some rare applications will need to create more than one interpreter
 801 during a session.  Such an application might sporadically decide to
 802 release any resources associated with the interpreter.
 803
 804 The program must take care to ensure that this takes place I<before>
 805 the next interpreter is constructed.  By default, the global variable
 806 C<perl_destruct_level> is set to C<0>, since extra cleaning isn't
 807 needed when a program has only one interpreter.
 808
 809 Setting C<perl_destruct_level> to C<1> makes everything squeaky clean:
 810
 811  perl_destruct_level = 1;
 812
 813  while(1) {
 814      ...
 815      /* reset global variables here with perl_destruct_level = 1 */
 816      perl_construct(my_perl);
 817      ...
 818      /* clean and reset _everything_ during perl_destruct */
 819      perl_destruct(my_perl);
 820      perl_free(my_perl);
 821      ...
 822      /* let's go do it again! */
 823  }
 824
 825 When I<perl_destruct()> is called, the interpreter's syntax parse tree
 826 and symbol tables are cleaned up, and global variables are reset.
 827
 828 Now suppose we have more than one interpreter instance running at the
 829 same time.  This is feasible, but only if you used the
 830 C<-DMULTIPLICITY> flag when building Perl.  By default, that sets
 831 C<perl_destruct_level> to C<1>.
 832
 833 Let's give it a try:
 834
 835
 836  #include <EXTERN.h>
 837  #include <perl.h>
 838
 839  /* we're going to embed two interpreters */
 840  /* we're going to embed two interpreters */
 841
 842  #define SAY_HELLO "-e", "print qq(Hi, I'm $^X\n)"
 843
 844  int main(int argc, char **argv, char **env)
 845  {
 846      PerlInterpreter
 847          *one_perl = perl_alloc(),
 848          *two_perl = perl_alloc();
 849      char *one_args[] = { "one_perl", SAY_HELLO };
 850      char *two_args[] = { "two_perl", SAY_HELLO };
 851
 852      perl_construct(one_perl);
 853      perl_construct(two_perl);
 854
 855      perl_parse(one_perl, NULL, 3, one_args, (char **)NULL);
 856      perl_parse(two_perl, NULL, 3, two_args, (char **)NULL);
 857
 858      perl_run(one_perl);
 859      perl_run(two_perl);
 860
 861      perl_destruct(one_perl);
 862      perl_destruct(two_perl);
 863
 864      perl_free(one_perl);
 865      perl_free(two_perl);
 866  }
 867
 868
 869 Compile as usual:
 870
 871  % cc -o multiplicity multiplicity.c `perl -MExtUtils::Embed -e ccopts -e ldopts`
 872
 873 Run it, Run it:
 874
 875  % multiplicity
 876  Hi, I'm one_perl
 877  Hi, I'm two_perl
 878
 879 =head2 Using Perl modules, which themselves use C libraries, from your C program
 880
 881 If you've played with the examples above and tried to embed a script
 882 that I<use()>s a Perl module (such as I<Socket>) which itself uses a C or C++ library,
 883 this probably happened:
 884
 885
 886  Can't load module Socket, dynamic loading not available in this perl.
 887   (You may need to build a new perl executable which either supports
 888   dynamic loading or has the Socket module statically linked into it.)
 889
 890
 891 What's wrong?
 892
 893 Your interpreter doesn't know how to communicate with these extensions
 894 on its own.  A little glue will help.  Up until now you've been
 895 calling I<perl_parse()>, handing it NULL for the second argument:
 896
 897  perl_parse(my_perl, NULL, argc, my_argv, NULL);
 898
 899 That's where the glue code can be inserted to create the initial contact between
 900 Perl and linked C/C++ routines.  Let's take a look some pieces of I<perlmain.c>
 901 to see how Perl does this:
 902
 903
 904  #ifdef __cplusplus
 905  #  define EXTERN_C extern "C"
 906  #else
 907  #  define EXTERN_C extern
 908  #endif
 909
 910  static void xs_init _((void));
 911
 912  EXTERN_C void boot_DynaLoader _((CV* cv));
 913  EXTERN_C void boot_Socket _((CV* cv));
 914
 915
 916  EXTERN_C void
 917  xs_init()
 918  {
 919         char *file = __FILE__;
 920         /* DynaLoader is a special case */
 921         newXS("DynaLoader::boot_DynaLoader", boot_DynaLoader, file);
 922         newXS("Socket::bootstrap", boot_Socket, file);
 923  }
 924
 925 Simply put: for each extension linked with your Perl executable
 926 (determined during its initial configuration on your
 927 computer or when adding a new extension),
 928 a Perl subroutine is created to incorporate the extension's
 929 routines.  Normally, that subroutine is named
 930 I<Module::bootstrap()> and is invoked when you say I<use Module>.  In
 931 turn, this hooks into an XSUB, I<boot_Module>, which creates a Perl
 932 counterpart for each of the extension's XSUBs.  Don't worry about this
 933 part; leave that to the I<xsubpp> and extension authors.  If your
 934 extension is dynamically loaded, DynaLoader creates I<Module::bootstrap()>
 935 for you on the fly.  In fact, if you have a working DynaLoader then there
 936 is rarely any need to link in any other extensions statically.
 937
 938
 939 Once you have this code, slap it into the second argument of I<perl_parse()>:
 940
 941
 942  perl_parse(my_perl, xs_init, argc, my_argv, NULL);
 943
 944
 945 Then compile:
 946
 947  % cc -o interp interp.c `perl -MExtUtils::Embed -e ccopts -e ldopts`
 948
 949  % interp
 950    use Socket;
 951    use SomeDynamicallyLoadedModule;
 952
 953    print "Now I can use extensions!\n"'
 954
 955 B<ExtUtils::Embed> can also automate writing the I<xs_init> glue code.
 956
 957  % perl -MExtUtils::Embed -e xsinit -- -o perlxsi.c
 958  % cc -c perlxsi.c `perl -MExtUtils::Embed -e ccopts`
 959  % cc -c interp.c  `perl -MExtUtils::Embed -e ccopts`
 960  % cc -o interp perlxsi.o interp.o `perl -MExtUtils::Embed -e ldopts`
 961
 962 Consult L<perlxs> and L<perlguts> for more details.
 963
 964 =head1 Embedding Perl under Win32
 965
 966 At the time of this writing, there are two versions of Perl which run
 967 under Win32.  Interfacing to Activeware's Perl library is quite
 968 different from the examples in this documentation, as significant
 969 changes were made to the internal Perl API.  However, it is possible
 970 to embed Activeware's Perl runtime, see the Perl for Win32 FAQ:
 971 http://www.perl.com/perl/faq/win32/Perl_for_Win32_FAQ.html
 972
 973 With the "official" Perl version 5.004 or higher, all the examples
 974 within this documentation will compile and run untouched, although,
 975 the build process is slightly different between Unix and Win32.
 976
 977 For starters, backticks don't work under the Win32 native command shell!
 978 The ExtUtils::Embed kit on CPAN ships with a script called
 979 B<genmake>, which generates a simple makefile to build a program from
 980 a single C source file.  It can be used like so:
 981
 982  C:\ExtUtils-Embed\eg> perl genmake interp.c
 983  C:\ExtUtils-Embed\eg> nmake
 984  C:\ExtUtils-Embed\eg> interp -e "print qq{I'm embedded in Win32!\n}"
 985
 986 You may wish to use a more robust environment such as the MS Developer
 987 stdio.  In this case, to generate perlxsi.c run:
 988
 989  perl -MExtUtils::Embed -e xsinit
 990
 991 Create a new project, Insert -> Files into Project: perlxsi.c, perl.lib,
 992 and your own source files, e.g. interp.c.  Typically you'll find
 993 perl.lib in B<C:\perl\lib\CORE>, if not, you should see the B<CORE>
 994 directory relative to C<perl -V:archlib>.
 995 The studio will also need this path so it knows where to find Perl
 996 include files.  This path can be added via the Tools -> Options ->
 997 Directories menu.  Finnally, select Build -> Build interp.exe and
 998 you're ready to go!
 999
1000 =head1 MORAL
1001
1002 You can sometimes I<write faster code> in C, but
1003 you can always I<write code faster> in Perl.  Because you can use
1004 each from the other, combine them as you wish.
1005
1006
1007 =head1 AUTHOR
1008
1009 Jon Orwant and <F<orwant@tpj.com>> and Doug MacEachern <F<dougm@osf.org>>,
1010 with small contributions from Tim Bunce, Tom Christiansen, Hallvard Furuseth,
1011 Dov Grobgeld, and Ilya Zakharevich.
1012
1013 Check out Doug's article on embedding in Volume 1, Issue 4 of The Perl
1014 Journal.  Info about TPJ is available from http://tpj.com.
1015
1016 April 14, 1997
1017
1018 Some of this material is excerpted from Jon Orwant's book: I<Perl 5
1019 Interactive>, Waite Group Press, 1996 (ISBN 1-57169-064-6) and appears
1020 courtesy of Waite Group Press.
1021
1022 =head1 COPYRIGHT
1023
1024 Copyright (C) 1995, 1996, 1997 Doug MacEachern and Jon Orwant.  All
1025 Rights Reserved.
1026
1027 Although destined for release with the standard Perl distribution,
1028 this document is not public domain, nor is any of Perl and its
1029 documentation.  Permission is granted to freely distribute verbatim
1030 copies of this document provided that no modifications outside of
1031 formatting be made, and that this notice remain intact.  You are
1032 permitted and encouraged to use its code and derivatives thereof in
1033 your own source code for fun or for profit as you see fit.