Improve tests and change tests/ directory layout

Add run-report.py and test_list.py files which are an extended test framework
providing memory and CPU sampling of the session daemon during the tests.

Tests are now divided on a per package basis. The kernel/ directory contains
integration tests for lttng-modules (kernel tracer). ust/ directory contains
tests for lttng-ust and tools/ directory has the unit tests of lttng-tools
itself which does not test tracer integration.

First patch aimed at improving test coverage of the lttng 2.0 toolchain and
provide the python framework for more detailled analysis.

Use make check to run them all or use run-report.py and select which tests to
run in test_list.py.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Update version to 2.0.0 stable

ROCK ON!!!

Signed-off-by: David Goulet <dgoulet@efficios.com>

Update version to v2.0.0-rc4

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: add small detail to enable-channel man page

(close #192)

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: warned of arbitrary time for ust-nprocesses test

(close #157)

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix. add limitation to man page

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: minor changes to lttng.1

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: add exit values to lttng.1 man page

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: add delay before validating apps in test nproc

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: error handling in lttng enable-event

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: document structure init. to 0 in lttng.h

Document the fact that the structures should be initialized to zero in
lttng.h since there is no init function.

(close #135)

Signed-off-by: Raphaël Beamonte <raphael.beamonte@gmail.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: uninitialized variable

Signed-off-by: David Goulet <dgoulet@ev0ke.net>

Keep track of FD used for UST applications (v2)

Allow to keep 25% of file descriptors reserved for commands/kernel
tracing/internal communication within the sessiond by limiting
applications to 75% of the available file descriptors. This ensures
traced applications cannot cause a sessiond denial of service.

Changelog since v1:
- Add missing fd-limit.h

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: lttng view, error message and exit code

lttng view is a frontend command, when the viewer is not found in the
path, the error message should be human readable (no need for the
developper-oriented debug message).

Also the return code must indicate that something went wrong if the
viewer is not on the system.

(fix #144)

Signed-off-by: Julien Desfossez <julien.desfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@ev0ke.net>

Small fixes to lttng man pages (v2)

Signed-off-by: Yannick Brosseau <yannick.brosseau@gmail.com>

Merge branch 'master' of git://git.lttng.org/lttng-tools

Fix: handle EINTR for sendmsg syscall

(close #170)

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: lttng UI exit value and error message

Change lttcomm error code starting value from 1000 to 10. This way, bash
can return the exact error code since 255 is the maximum.

Fix multiple warning, error and message output.

Some return code could still be not "standardize" but for stable it's
ok. Fixes can come later on.

(close #105)

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: session lock use after free

The session lock is broken in that it does not handle teardown correctly
(use after free). Surround each usage by the session list lock for now
to fix this issue, and don't unlock the session lock after free. Since
each session lock usage is surrounded by session list lock, no other
thread will be left waiting on this lock when the session destroy is
performed.

This effectively renders useless the per-session lock. Leave it there
for now to minimize code change before 2.0 final.

This locking scheme will be revisited for lttng 2.1.

Acked-by: David Goulet <dgoulet@efficios.com>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix kernel_list_events memleaks

- The fscanf %m allocation was leaking the "event" (needs to be freed
  explicitly).
- The error handling of realloc should free the previous pointer.

Acked-by: David Goulet <dgoulet@efficios.com>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix debug message use uninitialized variable

Reported-by: Yannick Brosseau <yannick.brosseau@gmail.com>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: trace_ust_destroy_metadata should check for NULL pointer

Acked-by: David Goulet <dgoulet@efficios.com>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: various memleaks

Thanks to valgrind.

Acked-by: David Goulet <dgoulet@efficios.com>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: hash table allocation out of order on error

Signed-off-by: David Goulet <dgoulet@efficios.com>

fix: lttng_ht_destroy memleak

Acked-by: David Goulet <dgoulet@efficios.com>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Update version to v2.0.0-rc3

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix missing headers for make dist

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: install lttng-consumerd in lib/lttng/libexec/

This program is not meant to be executed by end-users: it is spawned
only by the session daemon.

Closes #46

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: Redefine MAP_STACK to 0 if not defined by the architecture

This patch fixes build error on architectures (e.g., armel, armhf) that
do not define MAP_STACK.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix consumer CPU hotplug support

This is a quick fix to handle stream update on CPU hotplug. Please look
at #ref 168 for more information and explanation on the real fix.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix double PID registration race

Introduce a second hash table indexed by application socket which have
the exact same content as the hash table indexed by PID.

On unregister, we now use a direct lookup per socket instead of using
the key map between sock and PID. This prevents the PID-sock lookup race
when the unregister happens just after the replace and before the
close(fd).

We also use an add_replace call on application registration for the PID
hash table and kept the add_unique for the socket hash table.

(closes #7)

Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Make libcompat independent not to confuse automake

Moving libcompat.la to the compat/ subdirectory and building it before
every other libs.

(closes #101 #153)

Signed-off-by: David Goulet <dgoulet@efficios.com>

Clarify the license of lttng-ust-abi.h

That file's license was not recognized by licensecheck. I suggest using
the MIT/X11 text which is quite similar, and is already used elsewhere
in the project (in Babeltrace).

Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Alexandre Montplaisir <alexandre.montplaisir@gmail.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

License header fixes

Most of the source files had the wrong FSF address. Also reworded the
first paragraph so that licensecheck's regexes actually pick up the
version number.

I made sure lttng.h and lttng-ctl.c advertise LGPL-2.1. Every other file
touched in this patch was and remains under GPL2, please make sure this
is correct. (Some files related to the RCU hashtable are under
LGPL-2.1+, but their headers were already clean).

(closes #155)

Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Alexandre Montplaisir <alexandre.montplaisir@gmail.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix wrong return value on consumer socket creation

A failing call to mkdir() returned 0 instead of an error and was
creating a segfault later on since some memory was not initialized.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: test for UST invalid channel parameters at channel creation

Acked-by: David Goulet <dgoulet@efficios.com>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: recvmsg should handle EINTR

Acked-by: David Goulet <dgoulet@efficios.com>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix error.h non-static variables for liblttng-ctl

Linking with liblttng-ctl made the variable opt_quiet and opt_verbose
undefined if nonexistent in the linked application.

Rename the variables adding the prefix lttng_* and declaring them in
liblttng-ctl as global variable. The user can now control the verbosity
of the library by simply setting them.

Future work will mostly add an API call to control verbosity.

(closes #151)

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix missing _GNU_SOURCE define

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: improve need root for kernel tracing error message

Reported-by: "Thibault, Daniel" <Daniel.Thibault@drdc-rddc.gc.ca>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix start/stop lttng message error

Add the already started/stopped error message and print a more
meaningful error on the command line.

(closes #47)

Signed-off-by: David Goulet <dgoulet@efficios.com>

Merge branch 'master' of git://git.lttng.org/lttng-tools

Update version to v2.0.0-rc2

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: meaningful error message

Show a meaningful error message to users attempting to do kernel tracing
without root sessiond/tracing group creds.

Reported-by: "Brosseau, Yannick" <yannick.brosseau@gmail.com>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: UST consumer need to iterate on streams, just change their key

We need iteration to still be able to see the stream/channel, but not
lookups from sessiond query.

Ensure that teardown does not lookup by key.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: add missing rcu read lock across RCU HT iteration

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: kernel session closes fd 0 after create

This fix the make check test for kernel session handling. We ensure that
all FDs that are unset are set to -1.

Acked-by: David Goulet <dgoulet@efficios.com>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: sendmsg EPIPE should be quiet by default (expected)

Acked-by: David Goulet <dgoulet@efficios.com>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: thread_registration_apps should set its local sock to -1 when passing it

.. to another thread.

Acked-by: David Goulet <dgoulet@efficios.com>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: clock -> sock typo

Acked-by: David Goulet <dgoulet@efficios.com>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Merge branch 'master' of git://git.lttng.org/lttng-tools

Merge branch 'master' of git://git.lttng.org/lttng-tools

Fix: consumer race: should allow reuse of FD key

Issue was triggered by running "hello" UST test program in a loop while
tracing was active.

Acked-by: David Goulet <dgoulet@efficios.com>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Merge branch 'master' of git://git.lttng.org/lttng-tools

Fix: Use PERROR all across lttng-tools, never make it quiet

We never want to hide these errors, even in quiet mode. For those
"errors" that are expected and part of the normal operation (e.g. send
consumer channel: Socket operation on non-socket), we will have to
handle the return values and errno explicitly in the code.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: test all close return values in sessiond

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: All perror turned into PERROR to show file and line number

Needed to find error culprits.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: large audit of close() use in sessiond main.c

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: main.c client/apps sockets and kernel_trace_fd close(0)

thread_registration_apps and thread_manage_clients threads are closing
sock == 0 in error handling path, which is an error.

They also may use kernel_tracer_fd at 0 value if no kernel tracer has
been found. cleanup() can close this 0 socket too, which should never
happen.

Set all these sockets as "-1" when unset.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: incorrect close of fd 0 for syscall kernel event destroy

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: sessiond has incorrect missing 0 value in FD check

When run with daemon(), the 0 file descriptor can be re-used for
something else than stdout.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Merge branch 'master' into compat-freebsd

Fix: sessiond app listening: use posix-compliant poll flags

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: consumer printf type should match ssize_t (%zd)

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: make ust consumer posix compliant for poll flags

poll flags can have both POLLHUP and POLLIN set, which is not expected
by the consumer. Do not depend on this implementation-specific behavior.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix security permission on lttng run directory

Add execute flag for other (r+x) on the lttng run directory at
/var/run/lttng so instrumented application *not* in the tracing group
can register to the global session daemon running as root.

(refs #141)

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: sessiond app listening: use posix-compliant poll flags

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: consumer printf type should match ssize_t (%zd)

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: make ust consumer posix compliant for poll flags

poll flags can have both POLLHUP and POLLIN set, which is not expected
by the consumer. Do not depend on this implementation-specific behavior.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: Display right loglevel_type in error message

Signed-off-by: Raphaël Beamonte <raphael.beamonte@gmail.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix documentation in lttng.h

Some functions in lttng.h are not aimed to be used only for kernel but
also for UST. This patch changes only the references made to 'kernel' to
make the documentation generic in the comments.

(closes #126)

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: lttng UST and kernel consumer: fix ret vs errno mixup

- errno should be set to -ret (not the opposite!)
  The main effect is that the perror errors were meaningless.

- errno should always be compared with positive values.
  This was also causing consumerd error handling mistakes.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: restart consumerd and sessiond when interrupted in poll()

When poll() is interrupted (e.g. by a debugger attaching), it should
restart instead of exiting with an error.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: lttng UST and kernel consumer: fix ret vs errno mixup

- errno should be set to -ret (not the opposite!)
  The main effect is that the perror errors were meaningless.

- errno should always be compared with positive values.
  This was also causing consumerd error handling mistakes.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: restart consumerd and sessiond when interrupted in poll()

When poll() is interrupted (e.g. by a debugger attaching), it should
restart instead of exiting with an error.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Debugger support: introduce LTTNG_DEBUG_NOCLONE env. var.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Merge branch 'master' into compat-freebsd

Fix: handling bad channel when sending to consumer

If the channel object is NULL it means that it's not created on the
tracer.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix useless variable

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix add-context returned error

Commit closes #99

Signed-off-by: David Goulet <dgoulet@efficios.com>

fix: add missing break in command handling

fix missing break in switch statement introduced in commit
2e09ba096b399ff18769cdd794c3946e54194491

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

fix: command handling: do not check domain for commands not requiring domain

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

fix: if tracing group does not exist, do not report a client error

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: run_as error handling

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

FreeBSD port: lttng_clone_files should execute handler

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

fix: add missing break in command handling

fix missing break in switch statement introduced in commit
2e09ba096b399ff18769cdd794c3946e54194491

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

fix: command handling: do not check domain for commands not requiring domain

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

fix: if tracing group does not exist, do not report a client error

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

runas: freebsd do not redefine MAP_STACK

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

freebsd: do not use MAP_STACK

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

runas: freebsd compat for mmap flags

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: run_as error handling

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

freebsd creds: Add missing braces

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Freebsd creds: do not overwrite recv len

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Implement FreeBSD credential support

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

tests: use LDFLAGS instead of CFLAGS for libraries

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Freebsd support: check for libc/libdl dlopen

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

bsd compat: add missing #elif -> #elif defined()

Add a missing warning too.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

bsd compat headers: #elif -> #elif defined

Also update warning messages.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

freebsd: fchmod is not supported on posix shm

It is OK not to the the fchmod. However, if UST apps start before
lttng-sessiond, they will have write access to the futex shm.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>