feat(control-loop/ensure-networks) Add notion of control loop, ensure network endpoints every 30 minutes #329
There are no files selected for viewing
| Original file line number | Diff line number | Diff line change |
|---|---|---|
| @@ -0,0 +1,37 @@ | ||
| package sand | ||
|
|
||
| import ( | ||
| "context" | ||
| "encoding/json" | ||
| "fmt" | ||
| "net/http" | ||
|
|
||
| "github.com/pkg/errors" | ||
|
|
||
| "github.com/Scalingo/sand/api/httpresp" | ||
| ) | ||
|
|
||
| func (c *client) NodeEnsureNetworkEndpoints(ctx context.Context) error { | ||
| req, err := http.NewRequest("POST", fmt.Sprintf("%s/node/ensure-network-endpoints", c.url), nil) | ||
| if err != nil { | ||
| return errors.Wrapf(err, "failed to create HTTP request") | ||
| } | ||
| req = req.WithContext(ctx) | ||
| res, err := c.httpClient.Do(req) | ||
| if err != nil { | ||
| return errors.Wrap(err, "failed to execute POST /node/ensure-network-endpoints") | ||
| } | ||
| defer res.Body.Close() | ||
|
|
||
| if res.StatusCode != http.StatusNoContent { | ||
| var reserr httpresp.Error | ||
| err := json.NewDecoder(res.Body).Decode(&reserr) | ||
| if err != nil { | ||
| return errors.Wrapf(err, "failed to decode JSON in errors response: %s", res.Status) | ||
| } | ||
|
|
||
| return reserr | ||
| } | ||
|
|
||
| return nil | ||
| } | ||
| Original file line number | Diff line number | Diff line change |
|---|---|---|
| @@ -0,0 +1,23 @@ | ||
| package main | ||
|
|
||
| import ( | ||
| "context" | ||
| "fmt" | ||
|
|
||
| "github.com/urfave/cli" | ||
| ) | ||
|
|
||
| func (a *App) NodeEnsureNetworkEndpoints(c *cli.Context) error { | ||
| client, err := a.sandClient(c) | ||
| if err != nil { | ||
| return err | ||
| } | ||
|
|
||
| err = client.NodeEnsureNetworkEndpoints(context.Background()) | ||
| if err != nil { | ||
| return err | ||
| } | ||
|
|
||
| fmt.Println("Network endpoints ensure triggered") | ||
| return nil | ||
| } | ||
| Original file line number | Diff line number | Diff line change | ||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| @@ -0,0 +1,88 @@ | ||||||||||||||||||||
| package node | ||||||||||||||||||||
|
|
||||||||||||||||||||
| import ( | ||||||||||||||||||||
| "context" | ||||||||||||||||||||
| "os" | ||||||||||||||||||||
|
|
||||||||||||||||||||
| "github.com/pkg/errors" | ||||||||||||||||||||
| "github.com/sirupsen/logrus" | ||||||||||||||||||||
|
|
||||||||||||||||||||
| "github.com/Scalingo/go-utils/logger" | ||||||||||||||||||||
| "github.com/Scalingo/sand/api/params" | ||||||||||||||||||||
| "github.com/Scalingo/sand/config" | ||||||||||||||||||||
| "github.com/Scalingo/sand/endpoint" | ||||||||||||||||||||
| "github.com/Scalingo/sand/network" | ||||||||||||||||||||
| "github.com/Scalingo/sand/store" | ||||||||||||||||||||
| ) | ||||||||||||||||||||
|
|
||||||||||||||||||||
| func EnsureNetworkEndpoints(ctx context.Context, c *config.Config, repo network.Repository, erepo endpoint.Repository) error { | ||||||||||||||||||||
|
There was a problem hiding this comment. From what I understand |
||||||||||||||||||||
| log := logger.Get(ctx) | ||||||||||||||||||||
| ctx = logger.ToCtx(ctx, log) | ||||||||||||||||||||
|
Member
There was a problem hiding this comment.
Suggested change
|
||||||||||||||||||||
|
|
||||||||||||||||||||
| log.Info("Ensure networks on node") | ||||||||||||||||||||
|
|
||||||||||||||||||||
| endpoints, err := erepo.List(ctx, map[string]string{"hostname": c.GetPeerHostname()}) | ||||||||||||||||||||
| if errors.Cause(err) == store.ErrNotFound { | ||||||||||||||||||||
|
Member
There was a problem hiding this comment. suggestion: should we already switch to |
||||||||||||||||||||
| return nil | ||||||||||||||||||||
| } | ||||||||||||||||||||
| if err != nil { | ||||||||||||||||||||
| return errors.Wrapf(err, "failed to list endpoints of %v", c.GetPeerHostname()) | ||||||||||||||||||||
| } | ||||||||||||||||||||
|
|
||||||||||||||||||||
| for _, endpoint := range endpoints { | ||||||||||||||||||||
| endpointLog := log.WithFields(logrus.Fields{ | ||||||||||||||||||||
| "endpoint_id": endpoint.ID, | ||||||||||||||||||||
| }) | ||||||||||||||||||||
| endpointCtx := logger.ToCtx(ctx, endpointLog) | ||||||||||||||||||||
|
Comment on lines
+33
to
+36
Member
There was a problem hiding this comment.
Suggested change
|
||||||||||||||||||||
|
|
||||||||||||||||||||
| if !endpoint.Active { | ||||||||||||||||||||
| endpointLog.Debug("skip inactive endpoint") | ||||||||||||||||||||
| continue | ||||||||||||||||||||
| } | ||||||||||||||||||||
|
|
||||||||||||||||||||
| endpointLog = endpointLog.WithFields(logrus.Fields{ | ||||||||||||||||||||
| "network_id": endpoint.NetworkID, | ||||||||||||||||||||
| "endpoint_netns_path": endpoint.TargetNetnsPath, | ||||||||||||||||||||
| }) | ||||||||||||||||||||
| endpointCtx = logger.ToCtx(ctx, endpointLog) | ||||||||||||||||||||
|
Comment on lines
+43
to
+47
Member
There was a problem hiding this comment.
Suggested change
|
||||||||||||||||||||
| endpointLog.Info("restoring endpoint") | ||||||||||||||||||||
|
|
||||||||||||||||||||
| network, ok, err := repo.Exists(endpointCtx, endpoint.NetworkID) | ||||||||||||||||||||
| if err != nil { | ||||||||||||||||||||
| return errors.Wrapf(err, "failed to get network") | ||||||||||||||||||||
| } | ||||||||||||||||||||
| if !ok { | ||||||||||||||||||||
| endpointLog.WithError(errors.Errorf("network not found for %v", endpoint)).Error("skip endpoint") | ||||||||||||||||||||
| continue | ||||||||||||||||||||
| } | ||||||||||||||||||||
|
|
||||||||||||||||||||
| endpointLog.Info("ensuring network") | ||||||||||||||||||||
| err = repo.Ensure(endpointCtx, network) | ||||||||||||||||||||
| if err != nil { | ||||||||||||||||||||
| endpointLog.WithError(err).Error("failed to ensure network") | ||||||||||||||||||||
| continue | ||||||||||||||||||||
| } | ||||||||||||||||||||
|
|
||||||||||||||||||||
| _, err = erepo.Activate(endpointCtx, network, endpoint, params.EndpointActivate{ | ||||||||||||||||||||
| NSHandlePath: endpoint.TargetNetnsPath, | ||||||||||||||||||||
| SetAddr: true, | ||||||||||||||||||||
| MoveVeth: true, | ||||||||||||||||||||
| }) | ||||||||||||||||||||
| if err != nil { | ||||||||||||||||||||
| // If the netns path no longer exists, deactivate the endpoint. Other | ||||||||||||||||||||
| // activation errors should not prevent the remaining endpoints from being ensured. | ||||||||||||||||||||
| if os.IsNotExist(errors.Cause(err)) { | ||||||||||||||||||||
|
There was a problem hiding this comment. Semgrep identified an issue in your code: A wrapped file-not-found error from More details about this
A plausible abuse case is: 1) an attacker causes To resolve this comment: ✨ Commit fix suggestion
Suggested change
View step-by-step instructions
💬 Ignore this findingReply with Semgrep commands to ignore this finding.
Alternatively, triage in Semgrep AppSec Platform to ignore the finding created by os-error-is-not-exist. You can view more details about this finding in the Semgrep AppSec Platform. |
||||||||||||||||||||
| _, err = erepo.Deactivate(endpointCtx, network, endpoint) | ||||||||||||||||||||
| if err != nil { | ||||||||||||||||||||
| endpointLog.WithError(err).Error("failed to deactivate endpoint") | ||||||||||||||||||||
| continue | ||||||||||||||||||||
| } | ||||||||||||||||||||
| } else { | ||||||||||||||||||||
| endpointLog.WithError(err).Error("failed to ensure endpoint") | ||||||||||||||||||||
| continue | ||||||||||||||||||||
| } | ||||||||||||||||||||
| } | ||||||||||||||||||||
| } | ||||||||||||||||||||
|
|
||||||||||||||||||||
| return nil | ||||||||||||||||||||
| } | ||||||||||||||||||||
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
issue: wrap the errors