Added functions to ease support of multiple version of traces

update version 0.29

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

Use updated event definitions

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Remove dependency on kernel headers

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Add header files in SOURCES

make distcheck agrees

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Partial revert "Disable sync/"

This partially reverts commits
86d5459b882f9874a61c1266c8c12478e1448377
5b96c742719728543bb067b8b154f294243c1c18
c73a133267f0de33bd7303de34a8f3e0ef90422a
ccf1db700d7477f4cd825ac435e2632443ee51f2

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Comments and pointers style format changed to comply to kernel code standard.

update compat

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

update manual

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

update manual

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

update lttng manual

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

update

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

update manual with licenses

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

remove sync dependency from gui module

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

update version to 0.12.28

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

Temporarily remove sync trace call from gui

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

Fixed a bug on a call to ltt_trace_time_span_get. No API change.

Disable sync/ completely, build OK

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

Disable sync/ because it does not build on x86_64

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

update version

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

Fix tracecontext seek backward underflow

Fix a problem with the detailed event list "seek backward". In the following
condition:

- Long interval between events (e.g. generated with power management suspend).
- Happening close to trace start.
- Trace start near 0s 0ns.

The substraction could underflow. Fix this by comparing the time to substract
and floor to trace start time if it would underflow.

The visible effect was that the detailed event list is seeked to the end of the
trace rather than the previous event when going "up" one event prior to the
suspend begin.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>
CC: Viktor Rosendahl <viktor.rosendahl@nokia.com>

Add COPYING file

update compat

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

update compat

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

(Hopefully) Merge of the patches.

update compat

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

update compat

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

update compat

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

update compat

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

Add glib options to help out valgrind

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Partial revert "runlttv: change valgrind args to give more details"

This reverts commit 2a65ba6ead92f40eded9946c3413b39d81a338ba.

As the manual says "Performance overhead: origin tracking is expensive."

Conflicts:

runlttv

Fixes for building without libglpk

This fixes some compilation bugs and one execution bug when generating
--eval-graphs without libglpk

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Fix compilation warnings

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Rebuild traceset contexts after performing synchronization

This fixes an integration bug with the state system that caused the control
flow view display to become corrupted when zooming in closely to synchronized
traces. It also caused many messages like
WARNING **: Cannot find pin_in in schedchange 5
to be displayed.

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Correct the README regarding eval mode usage

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Change a test file to create hulls that are more spaced out

This way they are easier to see.

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Fix leaks and invalid memory accesses

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Add a processing module that reads events from a text file

This is particularly useful for unitests.

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Add sync_chain_unittest

Makes the former unitest program more compliant with the current architecture.

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Use a common function to print stats of all modules

Removes code duplication.

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Initialize traceNb in the processing modules

Removes manipulation of structure fields by sync_chain.

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Make option type OPTIONAL_ARG available

These options are not be supported by Lttv and will be ignored (with a warning
message).

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

initProcessing takes a va_arg rather than an lttv-specific type

Makes the framework more general.

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Move some functions around to improve overall structure

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Clean debug statements

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Remove unused g_info definitions

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Remove leftover references to processing_lttv

It is now called processing_lttng.

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Don't access stats if they're not activated

Fixes a bug.

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Update README with info about algorithms, glpk and more

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Print approximation type from a constant instead of hardcoded

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Make the accuracy area easier to see on the broadcast graphs

Replots the contour of the area over the broadcast points.

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Have callbacks for "background" and "foreground" graphs

Allows easier composition of many functions on a single graph.

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Generate graphs of synchronization accuracy

This depends on libglpk. Automatically enabled if present at configure time.

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Store graph callbacks in a structure

Also support two classes of graphs: with "trace-trace" scale (both axes
present timestamp data); with "trace-time" scale (horizontal axis presents
timestamp data, vertical axis presents difference between timstamps)

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Generate graphs of broadcasts

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Use a timescale without correction in the graphs

... since graphs present timestamp data without correction.

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Do not use LttCycleCount elsewhere than in processing_lttv

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Print a sum row in the evaluation statistics

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Show the latency histograms by IP address rather than by trace

A trace may contain traffic between more than just one pair of hosts.

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Add graphStream field to syncState

So that modules can create their own individual graphs, independently of the
write[...]GraphsPlots()/Options() mechanism.

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Use histograms with logarithmicly-sized bins

These are very cool and fancy! In a single pass you get good resolution for
small values (not all lumped in one bin) without wasting many small bins for
large values. You also do no loose any values at all thanks to underflow and
overflow bins at each end. Number of bins is configurable.

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Call the stats and graph functions from sync_chain

Versus the former daisy chain method, this avoids having the analysis stats
and graph functions called twice when there are many matching modules (via
matching_distributor).

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Add a module to distribute messages to many analysis modules

Also perform RTT analysis in the eval module.

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Adds wall time field to events

Also analyze more events in the eval module.

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Add support for module options

This is independant (down to sync_chain) of lttv's option mechanism.

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Add a module to evaluate the quality of synchronization

Prints information about message inversions.

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Add a broadcast matching module

Matches UDP packets based on their first 8 bytes of content (this also depends
on the kernel instrumentation).

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Add a batchanalysis module to build and run a sync chain

This is mostly to build a sync chain with an analysis module that evaluates
the quality of synchronization. It does not modifiy the time correction
factors in the traces.

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Processing of UDP events

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Adjust the marker names used for clock synchronization

... according to the patches posted to the ltt-dev list on 2009-10-21. There
are now regular and _extended version of the markers. Synchronization needs
the extended version.

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Add a README for the clock synchronization code

This README describes the principles, usage and design of clock
synchronization in LTT.

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Make the synchronization module interfaces more generic

Instead of taking NetEvents and Packets, public interfaces take Events,
Messages and Exchanges. These are specialized into other structures for TCP.
This is to support the eventual integration of algorithms based on other event
types, like UDP.

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Add a unittest program for clock synchronization modules

Allows to test matching and analysis modules with data read from text files.
Includes some sample data for simple good and bad (unsynchronizable) cases.

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Add convex hull algorithm-based synchronization

This analysis module implements an algorithm that provides a garantee that the
synchronization will not result in inverted messages. It is now the default
algorithm, over linear regression.

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Do not use pkfree_skb events for synchronization

Don't rely on events indicating when sk_buff structures are freed. After a
receive, we wait for another event indicating that this receive was for TCP
data. In the case where the data was not TCP, instead of keeping information
about the receive, we used to discard it when the skb was freed.  It turns out
that it faster (and simpler) not to look at pkfree_skb events and keep the
information around anyways. Since sk_buff's are allocated in a pool, the
information will get overwritten and the size of pendingRecv will not grow
infinitely.

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Split the synchronization code into modules

Separates synchronization code in processing, matching and analysis modules.
There is also a "sync-chain" that coordinates module creation.

Adds a "--sync-null" option, mainly for performance evaluation.

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Graphical mode synchronization

Hooks the trace synchronization code in lttvwindow. This allows to use trace
synchronization in graphical mode when lttv is started with the "--sync"
option. Unfortunately, the viewer interface "freezes" while the
synchronization code is running. This can take a noticeable amount of time
(more than a minute) for large traces.

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Text mode clock synchronization

Adds linear regression based clock correction of a group of traces. This is
mostly a reimplementation of the work presented in
[1] Clément, E.: Synchronisation de traces dans un réseau distribué, École
Polytechnique de montréal, 2006

This implementation does not use a synchronization "window" and timeouts as
described in figure 3.3 of [1]. Not using that algorithm, we don't have to
rely on the system time to be loosely synchronized; events can be processed
regardless of the order the traces are merge-sorted. The downside is that
there is no limit to the number of events that could be queued up, waiting for
their matching event from another trace. The solution to this would be to
insert extra logic (like a plugable module) that controls the merge-sort;
upstream of event delivery to the syncrhonization code. Many possibilities
come to mind:
1) reimplement something like what is found in [1] that relies on system time
for a weak pre-synchronization
2) use a heuristic based on the size of the current queue for each trace in
the synchronization code. If a trace's queue is growing and growing, deliver
events to other traces.

This implementation also does not need to keep track of the IP adresses
assigned to local interfaces. If a packet is processed by the network
subsystem it can be used for synchronization. There is no need to know if the
node really the packet's final destination.

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Add members to LttTrace to support time adjustments

Adds a function to convert tsc values to nanoseconds.
Adds drift and offset members for linear clock correction.

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Revert "sync frequency of all traces with the first loaded"

This reverts commit 9c731a505cf0d0ded02f8e90a823fa90084c7740.

Conflicts:

ltt/branches/poly/ltt/tracefile.c

update compat

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

update version

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

update compat

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

update compat

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

Temporary fix for large IRQ tables

IRQ tables, trap tables and softirq tables can grow. The copy mechanism for
these is not correct when saving/restoring state, because it uses always the
name table size (which grows) to copy the saved/restored state snapshots.

We should change the g_new allocations for g_arrays, and use the array length as
boundary for the copy rather than the name table len.

TODO / FIXME !

I currently increased the initial irq name table size to 512 to deal correctly
with ARM. This is a dumb temporary fix.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

update compat

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

update compat

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

update compat

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

update compat

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

update version

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

state.c coding style fix

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

wakeup wait for cpu display

Here's a slightly more constructive patch: this one adds support in
LTTV's generic state monitoring code and its control flow visualiser to
note when a process is woken by another process using the
sched_try_wakeup event.

Previously the woken process would continue to register its old state
until such time as it got scheduled; here the process transitions to
WAIT_CPU state (like preempted processes, indicating it is ready to run
but not currently scheduled). Ordinarily we see this state exist very
briefly, in between the device driver IRQ (typically) clearing it to run
and the scheduler invocation after irq_exit, but on a heavily loaded
system we might see a large stripe of dark yellow indicating the process
is ready but cannot yet be allocated a core.

The new code in controlflow/eventhooks.c is essentially a copy of the
second half of before_schedchange -- it would be nice to factor these
two and before_execmode, all of which basically identify a process,
create state objects if necessary, and draw his line up to a certain
time.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

update compat

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

update compat

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

update compat

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

make lttv runnable from anywhere

Icons however can't be found when they are not installed and runlttv
is run from an arbitrary directory.

Add pixmaps shortcut

This shortcut is used by runlttv

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Fix help text

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Ignore configure.lineno

Generated by autoconf in shells that lack $LINENO

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

update compat

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>