apache / gobblin
Duplication

Places in code with 6 or more lines that are exactly the same.

Intro
Learn more...
Duplication Overall
system7% (9,564 lines)
dependency graphs: 2D graph | 3D graph | 3D graph (with duplicates)...
Duplication per Extension
java7% (8,956 lines)
xml24% (188 lines)
avsc21% (179 lines)
js14% (121 lines)
yaml24% (82 lines)
html13% (24 lines)
sql10% (14 lines)
Duplication per Component (primary)
gobblin-modules15% (3,621 lines)
gobblin-temporal16% (759 lines)
gobblin-runtime4% (704 lines)
gobblin-cluster12% (612 lines)
gobblin-metastore19% (551 lines)
gobblin-core5% (489 lines)
gobblin-data-management3% (456 lines)
gobblin-yarn13% (318 lines)
gobblin-service3% (315 lines)
gobblin-metrics-libs5% (261 lines)
gobblin-core-base6% (212 lines)
gobblin-docs26% (188 lines)
gobblin-utility1% (188 lines)
gobblin-admin10% (180 lines)
gobblin-compaction2% (132 lines)
gobblin-api2% (127 lines)
gobblin-kubernetes24% (82 lines)
gobblin-restli2% (77 lines)
gobblin-aws6% (72 lines)
gobblin-completeness21% (43 lines)
gobblin-config-management2% (41 lines)
gobblin-hive-registration1% (40 lines)
gobblin-salesforce2% (38 lines)
gobblin-example4% (28 lines)
ROOT23% (18 lines)
gobblin-iceberg<1% (6 lines)
gobblin-binary-management1% (6 lines)
conf0% (0 lines)
gradle0% (0 lines)
maven-sonatype0% (0 lines)
buildSrc0% (0 lines)
gobblin-rest-service0% (0 lines)
ligradle0% (0 lines)
gobblin-tunnel0% (0 lines)
gobblin-runtime-hadoop0% (0 lines)
gobblin-audit0% (0 lines)

Duplication Between Components (50+ lines)

G gobblin-cluster gobblin-cluster gobblin-temporal gobblin-temporal gobblin-cluster--gobblin-temporal 835 gobblin-runtime gobblin-runtime gobblin-cluster--gobblin-runtime 118 gobblin-yarn gobblin-yarn gobblin-temporal--gobblin-yarn 544 gobblin-core gobblin-core gobblin-modules gobblin-modules gobblin-core--gobblin-modules 141 gobblin-data-management gobblin-data-management gobblin-core--gobblin-data-management 52 gobblin-example gobblin-example gobblin-core--gobblin-example 58 gobblin-modules--gobblin-runtime 70 gobblin-service gobblin-service gobblin-runtime--gobblin-service 115 gobblin-utility gobblin-utility gobblin-runtime--gobblin-utility 110 gobblin-core-base gobblin-core-base gobblin-core-base--gobblin-modules 116 gobblin-data-management--gobblin-modules 98 gobblin-data-management--gobblin-utility 68 gobblin-compaction gobblin-compaction gobblin-completeness gobblin-completeness gobblin-compaction--gobblin-completeness 94 gobblin-api gobblin-api gobblin-api--gobblin-core 66 gobblin-api--gobblin-runtime 84 gobblin-api--gobblin-core-base 52 gobblin-api--gobblin-utility 78 gobblin-aws gobblin-aws gobblin-aws--gobblin-cluster 60 gobblin-metastore gobblin-metastore gobblin-metastore--gobblin-runtime 60 gobblin-metastore--gobblin-utility 54

Download: SVG DOT (open online Graphviz editor)

Open 2D force graph... Open 3D force graph...

Show more details on duplication between components...
Longest Duplicates
The list of 50 longest duplicates.
See data for all 985 duplicates...
Size#FoldersFilesLinesCode
129 x 2 gobblin-modules/gobblin-...bblin/converter/parquet
gobblin-modules/gobblin-...bblin/converter/parquet
303:491 (52%)
303:491 (52%)
view
112 x 2 gobblin-modules/gobblin-...bblin/converter/parquet
gobblin-modules/gobblin-...bblin/converter/parquet
66:295 (45%)
66:295 (45%)
view
104 x 2 gobblin-modules/gobblin-...bblin/converter/parquet
gobblin-modules/gobblin-...bblin/converter/parquet
45:211 (85%)
46:213 (85%)
view
78 x 2 gobblin-temporal/src/mai...e/gobblin/temporal/yarn
gobblin-yarn/src/main/java/org/apache/gobblin/yarn
647:779 (18%)
1041:1173 (12%)
view
58 x 2 gobblin-modules/gobblin-...g/apache/gobblin/writer
gobblin-modules/gobblin-...g/apache/gobblin/writer
42:116 (100%)
41:115 (100%)
view
47 x 2 gobblin-modules/gobblin-...he/gobblin/kafka/client
gobblin-modules/gobblin-...he/gobblin/kafka/client
201:295 (27%)
169:263 (28%)
view
41 x 2 gobblin-metastore/src/ma...blin/metastore/database
gobblin-metastore/src/ma...blin/metastore/database
849:913 (7%)
938:1002 (6%)
view
39 x 2 gobblin-modules/gobblin-...che/gobblin/source/jdbc
gobblin-modules/gobblin-...che/gobblin/source/jdbc
214:267 (22%)
194:248 (22%)
view
37 x 2 gobblin-modules/gobblin-...he/gobblin/kafka/writer
gobblin-modules/gobblin-...he/gobblin/kafka/writer
109:160 (38%)
99:150 (36%)
view
35 x 2 gobblin-temporal/src/mai...e/gobblin/temporal/yarn
gobblin-yarn/src/main/java/org/apache/gobblin/yarn
259:315 (8%)
417:473 (5%)
view
34 x 2 gobblin-modules/gobblin-...che/gobblin/source/jdbc
gobblin-modules/gobblin-...che/gobblin/source/jdbc
116:162 (19%)
103:150 (19%)
view
34 x 2 gobblin-metrics-libs/gob...rics-base/src/main/avro
gobblin-metrics-libs/gob...rics-base/src/main/avro
6:46 (40%)
6:46 (15%)
view
33 x 2 gobblin-cluster/src/main.../apache/gobblin/cluster
gobblin-temporal/src/mai...in/temporal/joblauncher
52:94 (71%)
51:93 (71%)
view
31 x 2 gobblin-cluster/src/main.../apache/gobblin/cluster
gobblin-temporal/src/mai...obblin/temporal/cluster
775:816 (7%)
363:404 (13%)
view
28 x 2 gobblin-modules/gobblin-...he/gobblin/kafka/writer
gobblin-modules/gobblin-...he/gobblin/kafka/writer
60:96 (28%)
50:86 (27%)
view
26 x 2 gobblin-modules/gobblin-.../apache/gobblin/runtime
gobblin-runtime/src/main.../apache/gobblin/runtime
70:128 (68%)
79:137 (61%)
view
25 x 2 gobblin-runtime/src/main...in/runtime/spec_catalog
gobblin-runtime/src/main...in/runtime/spec_catalog
182:224 (11%)
177:219 (17%)
view
25 x 2 gobblin-cluster/src/main.../apache/gobblin/cluster
gobblin-temporal/src/mai...in/temporal/joblauncher
42:78 (86%)
42:78 (86%)
view
24 x 2 gobblin-temporal/src/mai...e/gobblin/temporal/yarn
gobblin-yarn/src/main/java/org/apache/gobblin/yarn
419:453 (5%)
658:692 (3%)
view
24 x 2 gobblin-cluster/src/main.../apache/gobblin/cluster
gobblin-temporal/src/mai...in/temporal/joblauncher
214:247 (7%)
129:162 (14%)
view
23 x 2 gobblin-cluster/src/main.../apache/gobblin/cluster
gobblin-temporal/src/mai...obblin/temporal/cluster
562:594 (8%)
343:375 (12%)
view
23 x 2 gobblin-compaction/src/m...obblin/compaction/audit
gobblin-completeness/src...blin/completeness/audit
145:176 (29%)
136:165 (30%)
view
23 x 2 gobblin-metastore/src/ma...blin/metastore/database
gobblin-metastore/src/ma...blin/metastore/database
801:830 (4%)
887:916 (3%)
view
22 x 2 gobblin-modules/gobblin-...gobblin/kafka/schemareg
gobblin-modules/gobblin-...e/gobblin/metrics/kafka
199:225 (17%)
250:276 (14%)
view
21 x 2 gobblin-runtime/src/main.../apache/gobblin/runtime
gobblin-utility/src/main...he/gobblin/util/limiter
24:76 (95%)
25:77 (100%)
view
21 x 2 gobblin-temporal/src/mai...e/gobblin/temporal/yarn
gobblin-yarn/src/main/java/org/apache/gobblin/yarn
60:87 (36%)
66:93 (22%)
view
21 x 2 gobblin-modules/gobblin-.../apache/gobblin/service
gobblin-modules/gobblin-.../apache/gobblin/service
37:68 (100%)
37:68 (100%)
view
21 x 2 gobblin-core/src/main/ja...g/apache/gobblin/writer
gobblin-core/src/main/ja...g/apache/gobblin/writer
116:146 (20%)
176:207 (20%)
view
21 x 2 gobblin-modules/gobblin-...e/gobblin/metrics/kafka
gobblin-modules/gobblin-...e/gobblin/metrics/kafka
45:81 (61%)
43:80 (61%)
view
21 x 2 gobblin-modules/gobblin-...gobblin/kafka/schemareg
gobblin-modules/gobblin-...e/gobblin/metrics/kafka
243:270 (16%)
295:322 (13%)
view
21 x 2 gobblin-data-management/...gement/copy/replication
gobblin-data-management/...gement/copy/replication
140:168 (20%)
126:154 (23%)
view
20 x 2 gobblin-modules/gobblin-...e/gobblin/metrics/kafka
gobblin-modules/gobblin-...e/gobblin/metrics/kafka
42:77 (60%)
39:75 (60%)
view
20 x 2 gobblin-cluster/src/main.../apache/gobblin/cluster
gobblin-temporal/src/mai...in/temporal/joblauncher
40:66 (68%)
41:67 (68%)
view
19 x 2 gobblin-modules/gobblin-...gobblin/kafka/schemareg
gobblin-modules/gobblin-...e/gobblin/metrics/kafka
128:171 (14%)
185:227 (12%)
view
19 x 2 gobblin-cluster/src/main.../apache/gobblin/cluster
gobblin-temporal/src/mai...obblin/temporal/cluster
390:420 (4%)
264:294 (8%)
view
19 x 2 gobblin-modules/gobblin-...he/gobblin/kafka/client
gobblin-modules/gobblin-...he/gobblin/kafka/client
298:328 (11%)
266:295 (11%)
view
19 x 2 gobblin-modules/gobblin-...e/gobblin/metrics/kafka
gobblin-modules/gobblin-...e/gobblin/metrics/kafka
102:142 (36%)
99:139 (33%)
view
19 x 2 gobblin-modules/gobblin-...he/gobblin/kafka/writer
gobblin-modules/gobblin-...he/gobblin/kafka/writer
53:80 (29%)
60:86 (19%)
view
19 x 2 gobblin-modules/gobblin-...he/gobblin/kafka/writer
gobblin-modules/gobblin-...he/gobblin/kafka/writer
53:80 (29%)
50:76 (18%)
view
18 x 2 gobblin-kubernetes/gobblin-service/base-cluster
gobblin-kubernetes/gobblin-service/mysql-cluster
4:21 (26%)
4:21 (19%)
view
18 x 2 gobblin-modules/gobblin-...gobblin/writer/commands
gobblin-modules/gobblin-...gobblin/writer/commands
89:121 (20%)
113:144 (19%)
view
18 x 2 gobblin-cluster/src/main.../apache/gobblin/cluster
gobblin-temporal/src/mai...in/temporal/joblauncher
410:445 (5%)
232:258 (10%)
view
18 x 2 gobblin-modules/gobblin-...he/gobblin/kafka/client
gobblin-modules/gobblin-...extractor/extract/kafka
157:187 (8%)
329:359 (5%)
view
18 x 2 gobblin-metastore/src/ma...blin/metastore/database
gobblin-metastore/src/ma...blin/metastore/database
292:315 (3%)
221:244 (2%)
view
17 x 2 gobblin-cluster/src/main.../apache/gobblin/cluster
gobblin-runtime/src/main...pache/gobblin/scheduler
315:342 (5%)
291:318 (6%)
view
17 x 2 gobblin-temporal/src/mai...e/gobblin/temporal/yarn
gobblin-yarn/src/main/java/org/apache/gobblin/yarn
461:487 (4%)
694:720 (2%)
view
16 x 2 gobblin-modules/gobblin-...he/gobblin/kafka/writer
gobblin-modules/gobblin-...he/gobblin/kafka/writer
127:147 (24%)
120:140 (15%)
view
16 x 2 gobblin-modules/gobblin-...bblin/converter/parquet
gobblin-modules/gobblin-...bblin/converter/parquet
216:250 (13%)
218:252 (13%)
view
16 x 2 gobblin-modules/gobblin-...he/gobblin/kafka/writer
gobblin-modules/gobblin-...he/gobblin/kafka/writer
127:147 (24%)
130:150 (16%)
view
16 x 2 gobblin-core/src/main/ja...obblin/source/extractor
gobblin-example/src/main...blin/example/simplejson
85:110 (34%)
93:119 (35%)
view
Duplicated Units
The list of top 50 duplicated units.
See data for all 80 unit duplicates...
Size#FoldersFilesLinesCode
60 x 2 gobblin-modules/gobblin-...g/apache/gobblin/writer
gobblin-modules/gobblin-...g/apache/gobblin/writer
51:116 
52:117 
view
28 x 2 gobblin-modules/gobblin-...bblin/converter/parquet
gobblin-modules/gobblin-...bblin/converter/parquet
75:116 
75:116 
view
26 x 2 gobblin-metastore/src/ma...blin/metastore/database
gobblin-metastore/src/ma...blin/metastore/database
968:999 
879:910 
view
23 x 2 gobblin-completeness/src...blin/completeness/audit
gobblin-compaction/src/m...obblin/compaction/audit
144:169 
155:180 
view
21 x 2 gobblin-temporal/src/mai...e/gobblin/temporal/yarn
gobblin-yarn/src/main/java/org/apache/gobblin/yarn
65:88 
71:94 
view
20 x 2 gobblin-modules/gobblin-...bblin/converter/parquet
gobblin-modules/gobblin-...bblin/converter/parquet
413:434 
413:434 
view
19 x 2 gobblin-cluster/src/main.../apache/gobblin/cluster
gobblin-temporal/src/mai...in/temporal/joblauncher
51:75 
50:74 
view
18 x 2 gobblin-temporal/src/mai...e/gobblin/temporal/yarn
gobblin-yarn/src/main/java/org/apache/gobblin/yarn
467:489 
700:722 
view
18 x 2 gobblin-modules/gobblin-...bblin/converter/parquet
gobblin-modules/gobblin-...bblin/converter/parquet
65:84 
64:83 
view
18 x 3 gobblin-modules/gobblin-...in/compliance/retention
gobblin-modules/gobblin-...n/compliance/validation
gobblin-modules/gobblin-...blin/compliance/restore
165:184 
115:134 
118:137 
view
18 x 2 gobblin-modules/gobblin-...che/gobblin/source/jdbc
gobblin-modules/gobblin-...che/gobblin/source/jdbc
121:144 
134:156 
view
18 x 2 gobblin-modules/gobblin-...che/gobblin/source/jdbc
gobblin-modules/gobblin-...che/gobblin/source/jdbc
215:237 
234:256 
view
15 x 3 gobblin-modules/gobblin-...he/gobblin/kafka/writer
gobblin-modules/gobblin-...he/gobblin/kafka/writer
gobblin-modules/gobblin-...he/gobblin/kafka/writer
120:136 
130:146 
127:143 
view
14 x 4 gobblin-modules/gobblin-...he/gobblin/kafka/writer
gobblin-modules/gobblin-...he/gobblin/kafka/writer
gobblin-modules/gobblin-...he/gobblin/kafka/writer
gobblin-core-base/src/ma...g/apache/gobblin/writer
54:71 
64:81 
57:75 
54:72 
view
14 x 2 gobblin-modules/gobblin-...bblin/converter/parquet
gobblin-modules/gobblin-...bblin/converter/parquet
396:411 
396:411 
view
14 x 2 gobblin-modules/gobblin-...bblin/converter/parquet
gobblin-modules/gobblin-...bblin/converter/parquet
464:479 
464:479 
view
14 x 2 gobblin-modules/gobblin-...bblin/converter/parquet
gobblin-modules/gobblin-...bblin/converter/parquet
97:113 
96:112 
view
13 x 2 gobblin-runtime/src/main.../apache/gobblin/runtime
gobblin-utility/src/main...he/gobblin/util/limiter
63:77 
64:78 
view
13 x 2 gobblin-modules/gobblin-...e/gobblin/metrics/kafka
gobblin-modules/gobblin-...e/gobblin/metrics/kafka
49:69 
51:71 
view
12 x 2 gobblin-cluster/src/main.../apache/gobblin/cluster
gobblin-temporal/src/mai...in/temporal/joblauncher
59:72 
59:72 
view
12 x 2 gobblin-cluster/src/main.../apache/gobblin/cluster
gobblin-temporal/src/mai...in/temporal/joblauncher
222:237 
137:152 
view
12 x 2 gobblin-cluster/src/main.../apache/gobblin/cluster
gobblin-temporal/src/mai...obblin/temporal/cluster
382:395 
251:264 
view
12 x 2 gobblin-temporal/src/mai...e/gobblin/temporal/yarn
gobblin-yarn/src/main/java/org/apache/gobblin/yarn
293:310 
451:468 
view
12 x 2 gobblin-modules/gobblin-...e/gobblin/metrics/kafka
gobblin-modules/gobblin-...e/gobblin/metrics/kafka
46:64 
49:67 
view
12 x 3 gobblin-modules/gobblin-...che/gobblin/source/jdbc
gobblin-modules/gobblin-...che/gobblin/source/jdbc
gobblin-modules/gobblin-...che/gobblin/source/jdbc
199:212 
278:291 
218:231 
view
11 x 2 gobblin-core/src/main/ja...rce/extractor/watermark
gobblin-core/src/main/ja...rce/extractor/watermark
141:153 
138:150 
view
11 x 2 gobblin-modules/gobblin-...bblin/converter/parquet
gobblin-modules/gobblin-...bblin/converter/parquet
191:203 
189:201 
view
11 x 2 gobblin-modules/gobblin-...e/gobblin/metrics/kafka
gobblin-modules/gobblin-...e/gobblin/metrics/kafka
125:137 
122:134 
view
10 x 2 gobblin-cluster/src/main.../apache/gobblin/cluster
gobblin-temporal/src/mai...obblin/temporal/cluster
390:401 
264:275 
view
10 x 2 gobblin-cluster/src/main.../apache/gobblin/cluster
gobblin-temporal/src/mai...obblin/temporal/cluster
794:805 
382:393 
view
10 x 2 gobblin-temporal/src/mai...e/gobblin/temporal/yarn
gobblin-yarn/src/main/java/org/apache/gobblin/yarn
727:739 
1121:1133 
view
10 x 2 gobblin-core/src/main/ja...g/apache/gobblin/source
gobblin-core/src/main/ja...g/apache/gobblin/source
178:190 
225:237 
view
10 x 2 gobblin-modules/gobblin-...he/gobblin/kafka/client
gobblin-modules/gobblin-...he/gobblin/kafka/client
195:207 
227:239 
view
10 x 2 gobblin-modules/gobblin-...he/gobblin/kafka/client
gobblin-modules/gobblin-...he/gobblin/kafka/client
223:234 
255:266 
view
10 x 2 gobblin-admin/src/main/resources/static/js/views
gobblin-admin/src/main/resources/static/js/views
45:56 
49:60 
view
9 x 2 gobblin-cluster/src/main.../apache/gobblin/cluster
gobblin-temporal/src/mai...in/temporal/joblauncher
39:50 
40:51 
view
9 x 2 gobblin-data-management/.../data/management/policy
gobblin-data-management/...gement/retention/policy
183:193 
193:203 
view
9 x 2 gobblin-data-management/.../data/management/policy
gobblin-data-management/...gement/retention/policy
195:205 
205:215 
view
9 x 2 gobblin-modules/gobblin-...he/gobblin/kafka/writer
gobblin-modules/gobblin-...he/gobblin/kafka/writer
78:88 
88:98 
view
9 x 2 gobblin-modules/gobblin-...bblin/converter/parquet
gobblin-modules/gobblin-...bblin/converter/parquet
449:461 
449:461 
view
9 x 2 gobblin-modules/gobblin-...gobblin/writer/commands
gobblin-modules/gobblin-...gobblin/writer/commands
39:50 
78:88 
view
8 x 2 gobblin-runtime/src/main.../apache/gobblin/runtime
gobblin-modules/gobblin-.../apache/gobblin/runtime
116:127 
107:118 
view
8 x 2 gobblin-cluster/src/main.../apache/gobblin/cluster
gobblin-temporal/src/mai...obblin/temporal/cluster
604:613 
336:345 
view
8 x 2 gobblin-cluster/src/main.../apache/gobblin/cluster
gobblin-temporal/src/mai...in/temporal/joblauncher
425:434 
247:256 
view
8 x 2 gobblin-metrics-libs/gob.../apache/gobblin/metrics
gobblin-temporal/src/mai...poral/workflows/metrics
131:140 
118:127 
view
8 x 2 gobblin-modules/gobblin-...he/gobblin/kafka/client
gobblin-modules/gobblin-...he/gobblin/kafka/client
118:127 
134:143 
view
8 x 2 gobblin-modules/gobblin-...bblin/converter/parquet
gobblin-modules/gobblin-...bblin/converter/parquet
135:144 
135:144 
view
8 x 2 gobblin-modules/gobblin-...bblin/converter/parquet
gobblin-modules/gobblin-...bblin/converter/parquet
115:124 
114:123 
view
8 x 2 gobblin-modules/gobblin-...e/gobblin/metrics/kafka
gobblin-modules/gobblin-...e/gobblin/metrics/kafka
40:49 
43:52 
view
7 x 3 gobblin-runtime/src/main...che/gobblin/runtime/api
gobblin-runtime/src/main...che/gobblin/runtime/api
gobblin-runtime/src/main...che/gobblin/runtime/api
363:371 
290:298 
272:280 
view