forked from deblan/database-anonymizer
refactoring of app: separation of truncate and update
This commit is contained in:
parent
de5ddd0ead
commit
4bdc6a04d3
GPG key ID:
579388D585F70417
2 changed files with 139 additions and 128 deletions
277
app/app.go
277
app/app.go
|
|
@ -22,82 +22,99 @@ type App struct {
|
||||||
FakeManager faker.FakeManager
|
FakeManager faker.FakeManager
|
||||||
}
|
}
|
||||||
|
|
||||||
func (a *App) DoAction(c config.SchemaConfigAction, globalColumns map[string]string, generators map[string][]string) error {
|
func (a *App) Run(db *sql.DB, c config.SchemaConfig, fakeManager faker.FakeManager) error {
|
||||||
var query string
|
a.Db = db
|
||||||
|
a.FakeManager = fakeManager
|
||||||
|
|
||||||
if c.Table == "" {
|
for _, data := range c.Rules.Actions {
|
||||||
return errors.New("Table must be defined")
|
err := a.DoAction(data, c.Rules.Columns, c.Rules.Generators)
|
||||||
|
|
||||||
|
logger.LogFatalExitIf(err)
|
||||||
}
|
}
|
||||||
|
|
||||||
if c.Truncate {
|
_ = db
|
||||||
if c.Query != "" {
|
|
||||||
query = c.Query
|
return nil
|
||||||
} else {
|
}
|
||||||
return a.TruncateTable(c.Table)
|
|
||||||
}
|
func (a *App) TruncateTable(c config.SchemaConfigAction) error {
|
||||||
} else {
|
if c.Query == "" {
|
||||||
if c.Query != "" {
|
_, err := a.Db.Exec(fmt.Sprintf("TRUNCATE %s", c.Table))
|
||||||
query = c.Query
|
|
||||||
} else {
|
return err
|
||||||
query = fmt.Sprintf("SELECT * FROM %s", c.Table)
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
if len(c.PrimaryKey) == 0 {
|
|
||||||
c.PrimaryKey = []string{"id"}
|
|
||||||
}
|
}
|
||||||
|
|
||||||
|
query := a.CreateSelectQuery(c)
|
||||||
rows := database.GetRows(a.Db, query)
|
rows := database.GetRows(a.Db, query)
|
||||||
var scan any
|
var scan any
|
||||||
|
|
||||||
if c.Truncate {
|
for _, row := range rows {
|
||||||
for _, row := range rows {
|
pkeys := []string{}
|
||||||
pkeys := []string{}
|
pCounter := 1
|
||||||
pCounter := 1
|
|
||||||
|
|
||||||
for _, col := range c.PrimaryKey {
|
for _, col := range c.PrimaryKey {
|
||||||
pkeys = append(pkeys, fmt.Sprintf("%s=:p%s", col, strconv.Itoa(pCounter)))
|
pkeys = append(pkeys, fmt.Sprintf("%s=:p%s", col, strconv.Itoa(pCounter)))
|
||||||
pCounter = pCounter + 1
|
pCounter = pCounter + 1
|
||||||
}
|
|
||||||
|
|
||||||
sql := fmt.Sprintf(
|
|
||||||
"DELETE FROM %s WHERE %s",
|
|
||||||
c.Table,
|
|
||||||
strings.Join(pkeys, " AND "),
|
|
||||||
)
|
|
||||||
|
|
||||||
stmt := nq.NewNamedParameterQuery(sql)
|
|
||||||
pCounter = 1
|
|
||||||
|
|
||||||
for _, col := range c.PrimaryKey {
|
|
||||||
stmt.SetValue(fmt.Sprintf("p%s", strconv.Itoa(pCounter)), row[col].Value)
|
|
||||||
pCounter = pCounter + 1
|
|
||||||
}
|
|
||||||
|
|
||||||
a.Db.QueryRow(stmt.GetParsedQuery(), (stmt.GetParsedParameters())...).Scan(&scan)
|
|
||||||
}
|
}
|
||||||
} else {
|
|
||||||
for key, row := range rows {
|
sql := fmt.Sprintf(
|
||||||
if len(c.VirtualColumns) > 0 {
|
"DELETE FROM %s WHERE %s",
|
||||||
for col, faker := range c.VirtualColumns {
|
c.Table,
|
||||||
rows[key][col] = data.Data{
|
strings.Join(pkeys, " AND "),
|
||||||
Value: "",
|
)
|
||||||
Faker: faker,
|
|
||||||
IsVirtual: true,
|
stmt := nq.NewNamedParameterQuery(sql)
|
||||||
|
pCounter = 1
|
||||||
|
|
||||||
|
for _, col := range c.PrimaryKey {
|
||||||
|
stmt.SetValue(fmt.Sprintf("p%s", strconv.Itoa(pCounter)), row[col].Value)
|
||||||
|
pCounter = pCounter + 1
|
||||||
|
}
|
||||||
|
|
||||||
|
a.Db.QueryRow(stmt.GetParsedQuery(), (stmt.GetParsedParameters())...).Scan(&scan)
|
||||||
|
}
|
||||||
|
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func (a *App) UpdateRows(c config.SchemaConfigAction, globalColumns map[string]string, generators map[string][]string) error {
|
||||||
|
query := a.CreateSelectQuery(c)
|
||||||
|
rows := database.GetRows(a.Db, query)
|
||||||
|
var scan any
|
||||||
|
|
||||||
|
for key, row := range rows {
|
||||||
|
if len(c.VirtualColumns) > 0 {
|
||||||
|
for col, faker := range c.VirtualColumns {
|
||||||
|
rows[key][col] = data.Data{
|
||||||
|
Value: "",
|
||||||
|
Faker: faker,
|
||||||
|
IsVirtual: true,
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
if len(c.Columns) > 0 {
|
||||||
|
for col, faker := range c.Columns {
|
||||||
|
r := row[col]
|
||||||
|
r.Faker = faker
|
||||||
|
rows[key][col] = r
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
if len(globalColumns) > 0 {
|
||||||
|
for col, faker := range globalColumns {
|
||||||
|
if value, exists := row[col]; exists {
|
||||||
|
if value.Faker == "" {
|
||||||
|
value.Faker = faker
|
||||||
|
rows[key][col] = value
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
}
|
||||||
|
|
||||||
if len(c.Columns) > 0 {
|
if len(generators) > 0 {
|
||||||
for col, faker := range c.Columns {
|
for faker, columns := range generators {
|
||||||
r := row[col]
|
for _, col := range columns {
|
||||||
r.Faker = faker
|
|
||||||
rows[key][col] = r
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
if len(globalColumns) > 0 {
|
|
||||||
for col, faker := range globalColumns {
|
|
||||||
if value, exists := row[col]; exists {
|
if value, exists := row[col]; exists {
|
||||||
if value.Faker == "" {
|
if value.Faker == "" {
|
||||||
value.Faker = faker
|
value.Faker = faker
|
||||||
|
|
@ -106,76 +123,85 @@ func (a *App) DoAction(c config.SchemaConfigAction, globalColumns map[string]str
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
if len(generators) > 0 {
|
|
||||||
for faker, columns := range generators {
|
|
||||||
for _, col := range columns {
|
|
||||||
if value, exists := row[col]; exists {
|
|
||||||
if value.Faker == "" {
|
|
||||||
value.Faker = faker
|
|
||||||
rows[key][col] = value
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
for _, col := range c.PrimaryKey {
|
|
||||||
value := row[col]
|
|
||||||
value.IsPrimaryKey = true
|
|
||||||
rows[key][col] = value
|
|
||||||
}
|
|
||||||
|
|
||||||
v, err := a.UpdateRow(rows[key])
|
|
||||||
|
|
||||||
logger.LogFatalExitIf(err)
|
|
||||||
|
|
||||||
rows[key] = v
|
|
||||||
}
|
}
|
||||||
|
|
||||||
for _, row := range rows {
|
for _, col := range c.PrimaryKey {
|
||||||
updates := []string{}
|
value := row[col]
|
||||||
pkeys := []string{}
|
value.IsPrimaryKey = true
|
||||||
values := make(map[int]string)
|
rows[key][col] = value
|
||||||
pCounter := 1
|
}
|
||||||
|
|
||||||
for col, value := range row {
|
v, err := a.UpdateRow(rows[key])
|
||||||
if value.IsUpdated && !value.IsVirtual {
|
|
||||||
values[pCounter] = value.Value
|
|
||||||
updates = append(updates, fmt.Sprintf("%s=:p%s", col, strconv.Itoa(pCounter)))
|
|
||||||
pCounter = pCounter + 1
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
for _, col := range c.PrimaryKey {
|
logger.LogFatalExitIf(err)
|
||||||
values[pCounter] = row[col].Value
|
|
||||||
pkeys = append(pkeys, fmt.Sprintf("%s=:p%s", col, strconv.Itoa(pCounter)))
|
rows[key] = v
|
||||||
|
}
|
||||||
|
|
||||||
|
for _, row := range rows {
|
||||||
|
updates := []string{}
|
||||||
|
pkeys := []string{}
|
||||||
|
values := make(map[int]string)
|
||||||
|
pCounter := 1
|
||||||
|
|
||||||
|
for col, value := range row {
|
||||||
|
if value.IsUpdated && !value.IsVirtual {
|
||||||
|
values[pCounter] = value.Value
|
||||||
|
updates = append(updates, fmt.Sprintf("%s=:p%s", col, strconv.Itoa(pCounter)))
|
||||||
pCounter = pCounter + 1
|
pCounter = pCounter + 1
|
||||||
}
|
}
|
||||||
|
}
|
||||||
|
|
||||||
if len(updates) > 0 {
|
for _, col := range c.PrimaryKey {
|
||||||
sql := fmt.Sprintf(
|
values[pCounter] = row[col].Value
|
||||||
"UPDATE %s SET %s WHERE %s",
|
pkeys = append(pkeys, fmt.Sprintf("%s=:p%s", col, strconv.Itoa(pCounter)))
|
||||||
c.Table,
|
pCounter = pCounter + 1
|
||||||
strings.Join(updates, ", "),
|
}
|
||||||
strings.Join(pkeys, " AND "),
|
|
||||||
)
|
|
||||||
|
|
||||||
stmt := nq.NewNamedParameterQuery(sql)
|
if len(updates) > 0 {
|
||||||
pCounter = 1
|
sql := fmt.Sprintf(
|
||||||
|
"UPDATE %s SET %s WHERE %s",
|
||||||
|
c.Table,
|
||||||
|
strings.Join(updates, ", "),
|
||||||
|
strings.Join(pkeys, " AND "),
|
||||||
|
)
|
||||||
|
|
||||||
for i, value := range values {
|
stmt := nq.NewNamedParameterQuery(sql)
|
||||||
stmt.SetValue(fmt.Sprintf("p%s", strconv.Itoa(i)), value)
|
pCounter = 1
|
||||||
}
|
|
||||||
|
|
||||||
a.Db.QueryRow(stmt.GetParsedQuery(), (stmt.GetParsedParameters())...).Scan(&scan)
|
for i, value := range values {
|
||||||
|
stmt.SetValue(fmt.Sprintf("p%s", strconv.Itoa(i)), value)
|
||||||
}
|
}
|
||||||
|
|
||||||
|
a.Db.QueryRow(stmt.GetParsedQuery(), (stmt.GetParsedParameters())...).Scan(&scan)
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
return nil
|
return nil
|
||||||
}
|
}
|
||||||
|
|
||||||
|
func (a *App) CreateSelectQuery(c config.SchemaConfigAction) string {
|
||||||
|
if c.Query != "" {
|
||||||
|
return c.Query
|
||||||
|
}
|
||||||
|
|
||||||
|
return fmt.Sprintf("SELECT * FROM %s", c.Table)
|
||||||
|
}
|
||||||
|
|
||||||
|
func (a *App) DoAction(c config.SchemaConfigAction, globalColumns map[string]string, generators map[string][]string) error {
|
||||||
|
if c.Table == "" {
|
||||||
|
return errors.New("Table must be defined")
|
||||||
|
}
|
||||||
|
|
||||||
|
c.InitPrimaryKey()
|
||||||
|
|
||||||
|
if c.Truncate {
|
||||||
|
return a.TruncateTable(c)
|
||||||
|
}
|
||||||
|
|
||||||
|
return a.UpdateRows(c, globalColumns, generators)
|
||||||
|
}
|
||||||
|
|
||||||
func (a *App) UpdateRow(row map[string]data.Data) (map[string]data.Data, error) {
|
func (a *App) UpdateRow(row map[string]data.Data) (map[string]data.Data, error) {
|
||||||
for key, value := range row {
|
for key, value := range row {
|
||||||
if value.IsVirtual && !value.IsTwigExpression() {
|
if value.IsVirtual && !value.IsTwigExpression() {
|
||||||
|
|
@ -215,24 +241,3 @@ func (a *App) UpdateRow(row map[string]data.Data) (map[string]data.Data, error)
|
||||||
|
|
||||||
return row, nil
|
return row, nil
|
||||||
}
|
}
|
||||||
|
|
||||||
func (a *App) TruncateTable(table string) error {
|
|
||||||
_, err := a.Db.Exec(fmt.Sprintf("TRUNCATE %s", table))
|
|
||||||
|
|
||||||
return err
|
|
||||||
}
|
|
||||||
|
|
||||||
func (a *App) Run(db *sql.DB, c config.SchemaConfig, fakeManager faker.FakeManager) error {
|
|
||||||
a.Db = db
|
|
||||||
a.FakeManager = fakeManager
|
|
||||||
|
|
||||||
for _, data := range c.Rules.Actions {
|
|
||||||
err := a.DoAction(data, c.Rules.Columns, c.Rules.Generators)
|
|
||||||
|
|
||||||
logger.LogFatalExitIf(err)
|
|
||||||
}
|
|
||||||
|
|
||||||
_ = db
|
|
||||||
|
|
||||||
return nil
|
|
||||||
}
|
|
||||||
|
|
|
||||||
|
|
@ -37,3 +37,9 @@ func LoadSchemaConfigFromFile(file string) (SchemaConfig, error) {
|
||||||
|
|
||||||
return value, nil
|
return value, nil
|
||||||
}
|
}
|
||||||
|
|
||||||
|
func (c *SchemaConfigAction) InitPrimaryKey() {
|
||||||
|
if len(c.PrimaryKey) == 0 {
|
||||||
|
c.PrimaryKey = []string{"id"}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
|
||||||
Loading…
Add table
Add a link
Reference in a new issue